Stanowisko
Inżynier danych
Jak szybko dowiadujecie się, że źródło zmieniło strukturę - z alertu czy z pytania analityka, dlaczego raport jest pusty? To jest cała różnica w tej roli.
Rozmowa wstępna
Cztery pytania, od których byśmy zaczęli
Jak szybko dowiadujecie się o zmianie w źródle?
Jeśli dopiero wtedy, gdy przepływ się zatrzyma albo dane zrobią się puste, to reakcja zaczyna się od tłumaczenia, a nie od naprawy.
Skąd wiecie, że dane wyjściowe są poprawne?
Jeśli jedynym testem jest to, że przepływ się wykonał, to poprawność jest założeniem.
Co się dzieje, kiedy przepływ nie wykona się na czas?
Czy odbiorcy wiedzą o tym przed otwarciem raportu, czy po.
Czego nie wiecie o przepływie, dopóki nie przestanie działać?
Zwykle: co z niego korzysta i kto zauważy, jeśli zniknie.
Zdejmujemy monitoring i opis, zostawiamy projektowanie przepływów
Wykrywanie zmian w źródłach, kontrola jakości danych, monitoring przepływów i dokumentacja dają się odciążyć. Projektowanie przetwarzania i decyzje o modelu danych zostają przy inżynierze.
- Zmiana w źródle jest sygnałem, nie awarią. - Nowa kolumna, zmieniony typ albo brakujące pole zgłaszają się, zanim popsują przetwarzanie.
- Jakość danych jest mierzona, nie zakładana. - Kompletność, zakresy i reguły sprawdzane są przy każdym przebiegu, a odchylenie trafia do inżyniera przed trafieniem do raportu.
- Wiadomo, co z czego korzysta. - Zależności między przepływami, tabelami i raportami są widoczne, więc skutek zmiany da się ocenić przed jej wprowadzeniem.
Zakres
Co da się odciążyć w inżynierii danych
Dwadzieścia przykładowych zadań. Każde ma punkt zatwierdzenia po stronie człowieka. Poniżej wybrane, a zakres dopasowujemy do Waszej architektury danych.
Źródła i ich zmiany
- Rejestr źródeł z właścicielem i strukturą
- Wykrycie zmiany struktury źródła
- Sygnał o polu, które przestało być wypełniane
- Porównanie wolumenu z poprzednimi przebiegami
Przetwarzanie
- Szkic przekształcenia dla wzorców powtarzalnych (ocena: inżynier)
- Wskazanie przepływów o zbliżonej logice
- Ponowne przetworzenie zakresu po poprawce
- Rejestr przebiegów z czasem i wynikiem
Jakość danych
- Reguły jakości przy wejściu i wyjściu
- Sygnał o odchyleniu od oczekiwanego zakresu
- Wskazanie rekordów odrzuconych z przyczyną
- Zestawienie jakości wedle źródeł (ocena: inżynier)
Monitoring przepływów
- Status przepływów z terminami dostarczenia
- Sygnał o przepływie opóźnionym wobec umowy z odbiorcą
- Powiadomienie odbiorców o opóźnieniu
- Zestawienie awarii wedle przyczyny
Dokumentacja danych
- Pochodzenie danych w tabeli wynikowej
- Zależności między przepływami, tabelami i raportami
- Wskazanie tabel i przepływów nieużywanych
- Opis pól generowany z przekształceń (weryfikacja: inżynier)
Dzień pracy
Dzisiaj
- O zmianie w źródle dowiadujecie się, gdy przepływ pada
- Jakość danych sprawdzacie wtedy, gdy ktoś zgłosi dziwny wynik
- Opóźnienie przepływu odkrywa odbiorca, otwierając raport
- Zależności między przepływami znacie z pamięci
- Dokumentacja przepływów istnieje dla części z nich
- Nie wiecie, które tabele i przepływy nie są już używane
Z asystą AI
- Zmiana struktury źródła zgłasza się przed awarią
- Reguły jakości działają przy każdym przebiegu
- Odbiorcy są powiadamiani o opóźnieniu, zanim otworzą raport
- Zależności są widoczne, więc skutek zmiany da się ocenić
- Opis pól powstaje z przekształceń, Wy go weryfikujecie
- Przepływy i tabele nieużywane są wskazane
- Terminowość danych
mniej raportów otwieranych na starych danych
opóźnienie jest sygnalizowane odbiorcom
- Wykrywalność zmiany źródła
zmiana jest sygnałem, a nie awarią
struktura źródeł jest porównywana przy przebiegu
- Jakość danych wyjściowych
mniej błędnych liczb docierających do decyzji
reguły działają przed publikacją
- Przejrzystość przepływu
wiadomo, skąd pochodzi liczba w raporcie
pochodzenie i zależności są zapisane
Zaczynamy od wykrywania zmian w źródłach, bo to one powodują większość awarii.
- Krok 1
Rejestr źródeł i wykrywanie zmian
Struktura, właściciel, sygnał o zmianie i o polach, które przestały być wypełniane.
- Krok 2
Reguły jakości
Kompletność, zakresy i reguły biznesowe przy wejściu i wyjściu.
- Krok 3
Monitoring i powiadamianie odbiorców
Statusy, terminy dostarczenia, informacja o opóźnieniu.
- Krok 4
Pochodzenie i zależności
Co z czego powstaje i co z czego korzysta. Na końcu, bo wymaga uporządkowanych przepływów.
Częste pytania
Pytania, które padają na pierwszym spotkaniu
Czym to się różni od pracy analityka danych?
Analityk odpowiada na pytania przy pomocy danych. Inżynier odpowiada za to, żeby te dane w ogóle były, na czas i w dobrym stanie. Jedna rola pracuje na wyniku, druga na drodze do niego.
Czy przy przepływach danych wystarczy mniej inżynierów?
Liczba przepływów rośnie z każdym nowym źródłem i raportem, a zespoły danych rzadko rosną w tym tempie - stąd zaległości i przepływy, których nikt nie rozumie. Odciążenie monitoringu i dokumentacji nie zastępuje nikogo; pozwala utrzymać to, co już działa, bez rezygnowania z budowania nowego.
Czy to podlega AI Act?
Budowa przepływów danych nie jest zastosowaniem wysokiego ryzyka. Jeśli przepływy obejmują dane osobowe, obowiązują zasady ochrony danych - minimalizacja, podstawa i retencja - i warto, by rejestr źródeł wskazywał, które przepływy ich dotyczą.
Zostało pytanie, którego tu nie ma? Umów rozmowę
Następny krok
Ile razy w zeszłym kwartale przepływ padł z powodu zmiany w źródle?
Pokażemy Wam, jak wygląda praca z danymi, w której zmiana źródła jest sygnałem, a jakość sprawdza się przed publikacją.