Datenprozesse / 05
CSV-Importe automatisieren. Fehler gezielt behandeln.
Die Datei kommt täglich an. Jemand korrigiert Spalten, lädt sie hoch und prüft anschließend die Fehlermeldungen. DataSource macht aus diesem wiederkehrenden Handgriff einen dokumentierten Import mit klaren Regeln für unvollständige und fehlerhafte Daten.
Die Ausgangslage
Das Format ist einfach. Die Datenregeln sind es oft nicht.
Ein Lieferant liefert Artikel mit Semikolon als Trennzeichen und deutschem Dezimalkomma. Artikelnummern enthalten führende Nullen; Beschreibungen können Zeilenumbrüche enthalten. Eine Behandlung als einfache Textzeilen beschädigt diese Daten.
Wir prüfen den tatsächlichen Dateivertrag: Encoding, Quotierung, Spaltennamen, Pflichtwerte, Datum und die Bedeutung einer vollständigen Datei. SFTP oder ein geschützter Upload kann den Eingang liefern.
Was DataSource übernimmt
Dateieingang. Aufbereitung. Übernahme.
Dateieingang
Fertige Dateien sicher erkennen, etwa nach vereinbartem atomarem Umbenennen oder Begleitmarker. Eine noch laufende Übertragung nicht importieren.
Aufbereitung
Mit einem CSV-Parser lesen, Felder typgerecht normalisieren und fachliche Schlüssel prüfen. Fehler mit Dateibezug und Zeilen-/Datensatzbezug verständlich ausgeben.
Übernahme
Staging, Vorschau und Zielimport passend zum System umsetzen. Dateihash, Import-ID und bestätigte Datensätze verhindern unbeabsichtigte Mehrfachübernahmen.
Technisches Szenario / Illustratives Beispiel
Führende Nullen erhalten, Dezimalwerte normalisieren.
Illustratives Mapping einer gültigen Zeile. Die Artikelnummer bleibt ein String. Ungültige Preise werden nicht still auf null gesetzt, sondern als korrigierbarer Fehler behandelt.
Beispieldaten und vorgeschlagene Regeln. Die konkreten Schnittstellen und Geschäftsregeln werden für Ihr Projekt geprüft.
artikel;preis;land
004218;49,90;at
→ {
"sku": "004218",
"price": "49.90",
"countryCode": "AT"
}Fehlerbehandlung, Sicherheit und Betrieb
Teilimport: prüfen und betreiben.
Teilimport
Vorab entscheiden, ob eine fehlerhafte Zeile den gesamten Import stoppt. Abhängige Datensätze können eine gemeinsame Freigabe erfordern.
Wiederholung
Dateiversion und Datensatzschlüssel unterscheiden. Eine korrigierte Datei darf verarbeitet werden, ohne bereits übernommene Vorgänge nochmals auszulösen.
Betrieb
Erwartete Lieferzeiten, ausbleibende Dateien und geänderte Spalten überwachen. Zugangsdaten und sensible Zeileninhalte nicht in allgemeine Fehlerberichte schreiben.
Fachliche Fragen
Details, die vor der Umsetzung zählen.
CSV · SFTP · Encoding · Mapping · Validierung · Import
Kann eine Excel-Datei genauso verarbeitet werden?
XLSX ist ein anderes Format mit eigenen Typ- und Formelregeln. Wir können es als separaten Eingang berücksichtigen; es wird nicht bloß wie CSV umbenannt.
Was geschieht bei neuen Spalten?
Der Dateivertrag legt fest, ob zusätzliche Spalten toleriert werden. Fehlende Pflichtspalten oder veränderte Bedeutungen führen zu einer gezielten Prüfung.
Müssen fehlerfreie Zeilen immer warten?
Das hängt von der fachlichen Konsistenz ab. Bei unabhängigen Artikeln kann ein Teilimport passen; bei einem zusammengehörigen Auftrag eventuell nicht.
Für die technische Klärung
Mit Ihrem konkreten Ablauf beginnen.
Eine anonymisierte Originaldatei, aktuelle Importanleitung, Zielsystem und typische Fehlermeldungen bereitstellen. Besonders hilfreich sind Beispiele mit Umlauten, Nullwerten und führenden Nullen.
Im ersten Gespräch klären wir die verfügbaren Zugänge, Datenverantwortung und einen begrenzten ersten Datenfluss. Danach stimmen wir Umfang, Zuständigkeiten und Konditionen ab.
Anonymisierte Beispiele genügen für den Einstieg. Bitte keine Passwörter, Tokens oder personenbezogenen Produktivdaten in der ersten Anfrage senden.
Verwandte Aufgaben
Die nächste Verbindung im Kontext.
JSON / XML Datentransformation
Die Daten sind technisch lesbar und werden trotzdem abgewiesen. Feldnamen, Typen oder Strukturen passen nicht zur Zielanwendung. Wir entwickeln nachvollziehbare Mappings, die auch leere Werte, Sonderfälle und Änderungen am Quellformat behandeln.
Produktdaten automatisieren
Das ERP liefert Stammdaten, das PIM Texte und ein Lieferant technische Merkmale. Manuelle Listen verbinden diese Informationen nur vorübergehend. Wir schaffen einen definierten Datenfluss vom führenden Feld bis zum geprüften Kanalexport.
SQL-Datenbanken verbinden
Reporting, Portale oder Fachanwendungen benötigen Daten aus einer anderen Datenbank. Wir planen eine Verbindung, die Zugriffsrechte, konsistente Datenstände und die Regeln der beteiligten Anwendungen berücksichtigt.