Rolle
Data Engineer
Wie schnell erfahren Sie, dass eine Quelle ihre Struktur geändert hat - aus einem Alarm oder von einem Analysten, der fragt, warum der Bericht leer ist? Das ist der ganze Unterschied in dieser Rolle.
Erstgespräch
Vier Fragen, mit denen wir beginnen würden
Wie schnell erfahren Sie von einer Änderung in einer Quelle?
Wenn erst, wenn die Pipeline stehen bleibt oder die Daten leer herauskommen, beginnt die Reaktion mit einer Erklärung statt mit einer Behebung.
Woher wissen Sie, dass die Ausgabedaten korrekt sind?
Wenn der einzige Test ist, dass die Pipeline gelaufen ist, dann ist Korrektheit eine Annahme.
Was passiert, wenn eine Pipeline nicht rechtzeitig läuft?
Ob die Empfänger davon wissen, bevor sie den Bericht öffnen, oder danach.
Was wissen Sie über eine Pipeline nicht, bis sie aufhört zu funktionieren?
Meist: was sie nutzt und wer es bemerken würde, wenn sie verschwände.
Wir übernehmen Überwachung und Dokumentation, Sie behalten den Entwurf der Pipelines
Änderungen in Quellen zu erkennen, Datenqualitätsprüfungen, Pipeline-Überwachung und Dokumentation lassen sich vom Schreibtisch nehmen. Den Entwurf der Verarbeitung und Entscheidungen über das Datenmodell behält der Engineer.
- Eine Änderung in einer Quelle ist ein Signal, kein Ausfall. - Eine neue Spalte, ein geänderter Typ oder ein fehlendes Feld melden sich, bevor sie die Verarbeitung zerstören.
- Datenqualität wird gemessen, nicht angenommen. - Vollständigkeit, Wertebereiche und Regeln werden bei jedem Lauf geprüft, und eine Abweichung erreicht den Engineer, bevor sie einen Bericht erreicht.
- Es ist bekannt, was was nutzt. - Die Abhängigkeiten zwischen Pipelines, Tabellen und Berichten sind sichtbar, die Wirkung einer Änderung lässt sich also vorher beurteilen.
Umfang
Was sich aus dem Data Engineering herausnehmen lässt
Zwanzig Aufgaben als Beispiel. Jede hat einen Punkt menschlicher Freigabe. Unten eine Auswahl; den Umfang passen wir an Ihre Datenarchitektur an.
Quellen und ihre Änderungen
- Ein Register der Quellen mit Eigentümer und Struktur
- Erkennen einer Strukturänderung in einer Quelle
- Ein Signal, wenn ein Feld nicht mehr befüllt wird
- Vergleich des Volumens mit früheren Läufen
Verarbeitung
- Ein Transformationsentwurf für repetitive Muster (Einschätzung: der Engineer)
- Hinweis auf Pipelines mit ähnlicher Logik
- Erneute Verarbeitung eines Zeitraums nach einer Korrektur
- Ein Register der Läufe mit Zeit und Ergebnis
Datenqualität
- Qualitätsregeln am Eingang und am Ausgang
- Ein Signal, wenn ein Wert vom erwarteten Bereich abweicht
- Hinweis auf abgewiesene Datensätze mit Begründung
- Qualität zusammengefasst nach Quelle (Einschätzung: der Engineer)
Pipeline-Überwachung
- Pipeline-Status mit Lieferterminen
- Ein Signal, wenn eine Pipeline gegenüber der Absprache mit dem Empfänger verspätet ist
- Benachrichtigung der Empfänger über eine Verzögerung
- Fehlschläge zusammengefasst nach Ursache
Datendokumentation
- Die Herkunft der Daten in einer Ausgabetabelle
- Die Abhängigkeiten zwischen Pipelines, Tabellen und Berichten
- Hinweis auf Tabellen und Pipelines, die nicht genutzt werden
- Feldbeschreibungen, erzeugt aus den Transformationen (Prüfung: der Engineer)
Ein Arbeitstag
Heute
- Von einer Änderung in einer Quelle erfahren Sie, wenn die Pipeline umfällt
- Die Datenqualität prüfen Sie, wenn jemand ein merkwürdiges Ergebnis meldet
- Ein Empfänger entdeckt eine verspätete Pipeline, indem er den Bericht öffnet
- Die Abhängigkeiten zwischen Pipelines kennen Sie auswendig
- Dokumentation gibt es für einen Teil der Pipelines
- Sie wissen nicht, welche Tabellen und Pipelines nicht mehr genutzt werden
Mit AI-Unterstützung
- Eine Strukturänderung in einer Quelle meldet sich vor dem Fehlschlag
- Die Qualitätsregeln laufen bei jedem Lauf
- Empfänger erfahren von einer Verzögerung, bevor sie den Bericht öffnen
- Die Abhängigkeiten sind sichtbar, die Wirkung einer Änderung lässt sich also beurteilen
- Die Feldbeschreibungen werden aus den Transformationen erzeugt, Sie prüfen sie
- Ungenutzte Pipelines und Tabellen werden aufgezeigt
- Daten pünktlich
weniger Berichte werden auf veralteten Daten geöffnet
eine Verzögerung wird den Empfängern signalisiert
- Quellenänderungen erkennen
eine Änderung ist ein Signal statt eines Ausfalls
Quellstrukturen werden bei jedem Lauf verglichen
- Qualität der Ausgabedaten
weniger falsche Zahlen erreichen eine Entscheidung
die Regeln laufen vor der Veröffentlichung
- Eine einsehbare Pipeline
es ist bekannt, woher eine Zahl in einem Bericht kommt
Herkunft und Abhängigkeiten sind festgehalten
Wir beginnen mit dem Erkennen von Quellenänderungen, weil sie die meisten Fehlschläge verursachen.
- Schritt 1
Ein Quellenregister und Änderungserkennung
Die Struktur, der Eigentümer, ein Signal bei Änderung und bei Feldern, die nicht mehr befüllt werden.
- Schritt 2
Qualitätsregeln
Vollständigkeit, Wertebereiche und fachliche Regeln am Eingang und am Ausgang.
- Schritt 3
Überwachung und Benachrichtigung der Empfänger
Status, Liefertermine, Information über eine Verzögerung.
- Schritt 4
Herkunft und Abhängigkeiten
Was woraus gebaut wird und was was nutzt. Zuletzt, weil es geordnete Pipelines voraussetzt.
Häufige Fragen
Fragen, die beim ersten Treffen aufkommen
Worin unterscheidet sich das von einem Datenanalysten?
Der Analyst beantwortet mit den Daten Fragen. Der Engineer verantwortet, dass diese Daten überhaupt existieren, rechtzeitig und in guter Form. Die eine Rolle arbeitet am Ergebnis, die andere am Weg dorthin.
Reichen weniger Engineers für die Pipelines?
Die Zahl der Pipelines wächst mit jeder neuen Quelle und jedem neuen Bericht, und Datenteams wachsen selten in diesem Tempo - daher der Rückstand und die Pipelines, die niemand versteht. Überwachung und Dokumentation zu übernehmen ersetzt niemanden; es macht es möglich, das Laufende zu betreuen, ohne auf Neubau zu verzichten.
Fällt das unter die KI-Verordnung?
Datenpipelines zu bauen ist keine Hochrisiko-Anwendung. Wenn die Pipelines personenbezogene Daten umfassen, gelten die Datenschutzregeln - Minimierung, eine Rechtsgrundlage und Aufbewahrung - und es lohnt sich, im Quellenregister zu zeigen, welche Pipelines das betrifft.
Ihre Frage steht nicht dabei? Gespräch vereinbaren
Nächster Schritt
Wie oft ist im letzten Quartal eine Pipeline wegen einer Änderung in einer Quelle umgefallen?
Wir zeigen Ihnen, wie Arbeit mit Daten aussieht, wenn eine Änderung in einer Quelle ein Signal ist und die Qualität vor der Veröffentlichung geprüft wird.