W instytucji publicznej i u dostawcy mediów dane są jednocześnie obowiązkiem i aktywem. Trzeba oddać sprawozdanie do regulatora na konkretny dzień i w konkretnym formacie, a te same liczby mogłyby pokazywać, gdzie uciekają pieniądze i gdzie rośnie ryzyko. Problem w tym, że dane rzadko leżą w jednym miejscu, a arkusze zbierane ręcznie przed terminem nie nadają się ani na wiarygodne sprawozdanie, ani na analitykę.
Z naszego doświadczenia najtrudniejsze nie jest samo „zrobienie raportu”, tylko zbudowanie powtarzalnego, audytowalnego procesu, który co miesiąc wylicza te same liczby z tych samych źródeł. Pokażemy, jakie kompetencje danych i BI potrafimy wstawić do Twojego zespołu, opierając się na doświadczeniu Grupy RITS w Big Data i w budowie platform danych (realne projekty danych i AI w Grupie RITS).
Dlaczego dane w instytucji publicznej są tak rozproszone?
Instytucja rzadko startuje od zera. Przez lata narosła w niej warstwa systemów dziedzinowych: bilingowy, GIS, kadrowy, finansowo-księgowy, systemy pomiarowe i rejestry, często od różnych dostawców i w różnych pokoleniach technologii. Każdy ma własny model danych, słowniki i własne pojęcie „klienta” czy „punktu poboru”.
Do tego sprawozdawczość przez lata opierała się na ludziach, a nie na procesie: analityk eksportuje dane z kilku systemów, scala je w arkuszu, poprawia ręcznie i wysyła. Taki model przestaje się bronić, gdy raportów przybywa, terminy są sztywne, a ktoś pyta, skąd wzięła się konkretna liczba. Dlatego pierwszym krokiem nie jest nowy dashboard, tylko uporządkowanie źródeł.
Czym jest hurtownia danych w sektorze publicznym i co daje?
Hurtownia danych w sektorze publicznym to miejsce, w którym dane z wielu systemów trafiają do jednego, spójnego modelu i jednej definicji prawdy. Projektujemy ją tak, aby odpowiadała na realne pytania sprawozdawcze i zarządcze, a nie była kopią wszystkich tabel ze źródeł. Budujemy ją zwykle w kilku warstwach:
- warstwa surowa, do której ładujemy dane ze źródeł bez modyfikacji, żeby zachować ślad oryginału,
- warstwa modelu, gdzie czyścimy, ujednolicamy słowniki i wyliczamy wspólne wymiary (czas, obszar, klient, punkt poboru),
- warstwa raportowa, z gotowymi tabelami pod konkretne sprawozdania i dashboardy.
Taki podział pozwala dokładać nowe źródło albo raport bez przebudowy całości, a przy audycie łatwo pokazać drogę liczby od sprawozdania aż do rekordu źródłowego.
Jak zbudować pipeline’y pod raportowanie ustawowe?
Raportowanie ustawowe rządzi się swoimi prawami: liczy się nie tylko wynik, ale i to, że powstał w sposób powtarzalny. Dlatego zamiast ręcznych eksportów stawiamy pipeline’y danych, które uruchamiają się według harmonogramu i same ładują, przekształcają oraz walidują dane.
Automatyzujemy pełny cykl ETL/ELT: pobranie danych ze źródeł, transformację do modelu, kontrole jakości i wygenerowanie zestawień w formacie wymaganym przez regulatora. Opieramy się na sprawdzonym stosie (orkiestracja przepływów, transformacje w SQL, wersjonowanie logiki w repozytorium), dobieranym do tego, co instytucja już ma i utrzyma po nas.
Do tego dokładamy audytowalność, bo pytanie „skąd ta liczba?” pada prędzej czy później. Prowadzimy pełną linię pochodzenia danych (data lineage) od pozycji w sprawozdaniu do rekordu źródłowego, wersjonujemy logikę przekształceń (żeby odtworzyć raport sprzed kwartału) i zapewniamy powtarzalność przebiegów. Audyt to wtedy pokazanie gotowego, udokumentowanego procesu, a nie rekonstruowanie obliczeń z pamięci.
Jakie dashboardy zarządcze warto wystawić decydentom?
Gdy dane są już poukładane, warstwa zarządcza powstaje szybko. Projektujemy dashboardy zarządcze, które odpowiadają na pytania dyrektora, a nie zasypują go wykresami. Dla dostawcy mediów będą to wskaźniki sprzedaży i zużycia, poziom strat, windykacja i stan sieci; dla instytucji, realizacja budżetu, obciążenie procesów i terminowość spraw.
Trzymamy się zasady, że jeden ekran wspiera jedną decyzję: zamiast dziesiątek kafelków dajemy kilka wskaźników z kontekstem (wartość, trend, odniesienie do planu, zejście w szczegół). Zasilamy je z tej samej warstwy modelu, co sprawozdania, więc zarząd i regulator patrzą na spójne liczby, a nie na dwie różne prawdy.
Jak publikować otwarte dane przez API?
Coraz więcej instytucji ma obowiązek udostępniać dane na zewnątrz. Otwarte dane (open data) to jednak nie wrzucenie pliku CSV na stronę, tylko utrzymywany, opisany i bezpieczny kanał publikacji.
Budujemy warstwę publikacji tak, aby dane do portalu otwartych danych albo do API płynęły z tej samej hurtowni, co sprawozdania. Dbamy o stabilny schemat, metadane i wersjonowanie, o anonimizację tam, gdzie wymaga tego ochrona danych osobowych, oraz o automatyczną publikację. Dzięki temu dane otwarte są aktualne i spójne z oficjalną sprawozdawczością.
Jak analizować zużycie i straty w utilities?
U dostawcy mediów najwięcej wartości kryje się w analityce zużycia i strat. Gdy dane pomiarowe, bilingowe i sieciowe trafiają do jednego modelu, da się porównać to, co wyprodukowano i rozliczono, i zobaczyć różnicę, czyli straty techniczne i handlowe.
Na tej podstawie budujemy analizy profili zużycia, wykrywanie anomalii (nietypowy pobór wskazujący na awarię albo kradzież) i prognozy zapotrzebowania. Tam, gdzie ma to sens, dokładamy warstwę modeli predykcyjnych, bo kompetencje AI i uczenia maszynowego mamy realnie w Grupie RITS, trenowane na danych konkretnej sieci, a nie w wersji „z pudełka”.
Jak zadbać o jakość i bezpieczeństwo danych?
Raport jest wart tyle, ile dane pod nim. Wpinamy automatyczne kontrole w pipeline’y: reguły kompletności, spójności i poprawności, które zatrzymują wadliwe dane zanim trafią do sprawozdania.
Bezpieczeństwo w sektorze publicznym jest nienegocjowalne. Spinamy dostęp z rolami, szyfrujemy dane wrażliwe, rozdzielamy środowiska i rejestrujemy operacje na danych osobowych pod kątem zgodności z RODO. Projektujemy też retencję i anonimizację, żeby dane analityczne i otwarte nie stały się furtką do danych wrażliwych.
Jakie kompetencje dostarczamy do projektu danych?
Nawet bez case study z konkretnego urzędu potrafimy wstawić do Twojego zespołu ludzi, którzy takie systemy budują. Obsadzamy role dobrane do etapu projektu:
- architekt danych / hurtowni, który projektuje model i warstwy,
- inżynier danych (data engineer) budujący i utrzymujący pipeline’y,
- specjalista BI odpowiadający za raporty i dashboardy,
- analityk lub inżynier ML, gdy w grę wchodzi predykcja i wykrywanie anomalii.
Pracujemy w modelu wzmocnienia zespołu (body leasing) lub zespołu dedykowanego, zależnie od tego, czy uzupełniamy braki, czy przejmujemy całość obszaru. Jako partner nearshore z Polski wchodzimy w rytm pracy szybko.
Jak robimy to w RITS?
Opieramy się na realnych kompetencjach danych i BI w Grupie RITS, nie na opowieściach o cudzych wdrożeniach. Projektujemy hurtownię i model danych pod sprawozdawczość i analitykę, automatyzujemy raportowanie ustawowe z pełną audytowalnością, rozwijamy dashboardy, otwarte dane i analitykę zużycia na jednej warstwie, a kompetencje AI/ML dokładamy tam, gdzie realnie dają wartość. Najczęściej robimy to jako dedykowane oprogramowanie budowane przez nasz zespół, a gdy trzeba szybko uzupełnić ludzi, w modelu wzmocnienia zespołu.
Od czego zacząć budowę raportowania i analityki?
Zacznij od jednego sprawozdania, które najbardziej boli: ustal, z jakich źródeł powstaje, jakie ma definicje i gdzie dziś robi się ręcznie. To wyznaczy zakres pierwszej wersji hurtowni, pierwsze pipeline’y i role, których potrzebujesz. Kolejne raporty dołożysz na gotowym fundamencie. Różnice między modelami współpracy opisaliśmy w artykule o modelach współpracy IT.
Budujesz raportowanie ustawowe albo analitykę w instytucji lub u dostawcy mediów? Porozmawiajmy, dobierzemy zespół i architekturę pod Twoje dane.