Puesto
Ingeniero de datos
¿Con cuánta rapidez os enteráis de que una fuente ha cambiado de estructura: por una alerta o porque un analista pregunta por qué el informe está vacío? En eso consiste toda la diferencia en este puesto.
Conversación inicial
Cuatro preguntas por las que empezaríamos
¿Con cuánta rapidez os enteráis de un cambio en una fuente?
Si es solo cuando el flujo se para o los datos salen vacíos, la respuesta empieza por una explicación y no por un arreglo.
¿Cómo sabéis que los datos de salida son correctos?
Si la única prueba es que el flujo se ejecutó, la corrección es una suposición.
¿Qué pasa cuando un flujo no se ejecuta a tiempo?
Si los destinatarios lo saben antes de abrir el informe o después.
¿Qué no sabéis de un flujo hasta que deja de funcionar?
Normalmente: qué lo usa y quién lo notaría si desapareciera.
Nos quedamos con la monitorización y la documentación, vosotros con el diseño de los flujos
Detectar cambios en las fuentes, las comprobaciones de calidad, la monitorización de flujos y la documentación se pueden quitar del escritorio. Diseñar el procesamiento y las decisiones sobre el modelo de datos se quedan con el ingeniero.
- Un cambio en una fuente es una señal, no una caída. - Una columna nueva, un tipo cambiado o un campo que falta se anuncian antes de romper el procesamiento.
- La calidad de los datos se mide, no se supone. - La integridad, los rangos y las reglas se comprueban en cada ejecución, y una desviación llega al ingeniero antes que a un informe.
- Se sabe qué usa qué. - Las dependencias entre flujos, tablas e informes se ven, así que el efecto de un cambio se puede juzgar antes de hacerlo.
Alcance
Qué se puede quitar de la ingeniería de datos
Veinte tareas de ejemplo. Cada una tiene un punto de aprobación humana. Abajo una selección, y el alcance lo ajustamos a vuestra arquitectura de datos.
Fuentes y sus cambios
- Un registro de fuentes con su responsable y su estructura
- Detectar un cambio en la estructura de una fuente
- Una señal cuando un campo ha dejado de rellenarse
- Comparar el volumen con ejecuciones anteriores
Procesamiento
- Un borrador de transformación para patrones repetitivos (valoración: el ingeniero)
- Señalar los flujos con lógica parecida
- Reprocesar un rango tras un arreglo
- Un registro de ejecuciones con la hora y el resultado
Calidad de los datos
- Reglas de calidad en la entrada y en la salida
- Una señal cuando un valor se aparta del rango esperado
- Señalar los registros rechazados con el motivo
- Calidad resumida por fuente (valoración: el ingeniero)
Monitorización de flujos
- Estado de los flujos con los plazos de entrega
- Una señal cuando un flujo va tarde frente a lo acordado con el destinatario
- Avisar a los destinatarios de un retraso
- Fallos resumidos por causa
Documentación de los datos
- La trazabilidad de los datos de una tabla de salida
- Las dependencias entre flujos, tablas e informes
- Señalar las tablas y flujos que no se usan
- Descripciones de campos generadas a partir de las transformaciones (verificación: el ingeniero)
Un día de trabajo
Hoy
- Os enteráis de un cambio en una fuente cuando el flujo se cae
- Comprobáis la calidad de los datos cuando alguien avisa de un resultado extraño
- Un destinatario descubre que un flujo va tarde al abrir el informe
- Conocéis las dependencias entre flujos de memoria
- Hay documentación de algunos de los flujos
- No sabéis qué tablas y flujos ya no se usan
Con asistencia de IA
- Un cambio en la estructura de una fuente se anuncia antes del fallo
- Las reglas de calidad corren en cada ejecución
- A los destinatarios se les avisa de un retraso antes de que abran el informe
- Las dependencias se ven, así que el efecto de un cambio se puede juzgar
- Las descripciones de campos se generan a partir de las transformaciones y vosotros las verificáis
- Los flujos y tablas sin uso están señalados
- Datos a tiempo
menos informes abiertos sobre datos caducados
un retraso se señala a los destinatarios
- Detección de cambios en las fuentes
un cambio es una señal y no una caída
las estructuras de las fuentes se comparan en cada ejecución
- Calidad de los datos de salida
menos cifras equivocadas llegando a una decisión
las reglas corren antes de publicar
- Un flujo transparente
se sabe de dónde viene una cifra de un informe
la trazabilidad y las dependencias están registradas
Empezamos por detectar los cambios en las fuentes, porque causan la mayoría de los fallos.
- Paso 1
Un registro de fuentes y detección de cambios
La estructura, el responsable, una señal al cambiar y ante los campos que han dejado de rellenarse.
- Paso 2
Reglas de calidad
Integridad, rangos y reglas de negocio en la entrada y en la salida.
- Paso 3
Monitorización y aviso a los destinatarios
Estados, plazos de entrega, información sobre un retraso.
- Paso 4
Trazabilidad y dependencias
Qué se construye a partir de qué y qué usa qué. Al final, porque requiere que los flujos estén ordenados.
Preguntas frecuentes
Preguntas que surgen en la primera reunión
¿En qué se diferencia esto de un analista de datos?
El analista responde preguntas con los datos. El ingeniero responde de que esos datos existan siquiera, a tiempo y en buen estado. Un puesto trabaja sobre el resultado, el otro sobre el camino hasta él.
¿Bastan menos ingenieros para los flujos?
El número de flujos crece con cada fuente y cada informe nuevos, y los equipos de datos rara vez crecen a ese ritmo; de ahí el atraso y los flujos que nadie entiende. Asumir la monitorización y la documentación no sustituye a nadie: hace posible mantener lo que ya corre sin renunciar a construir cosas nuevas.
¿Esto entra en el ámbito del Reglamento de IA?
Construir flujos de datos no es un uso de alto riesgo. Si los flujos cubren datos personales, se aplican las reglas de protección de datos (minimización, base jurídica y conservación) y conviene que el registro de fuentes muestre qué flujos los contienen.
¿Os queda alguna pregunta que no esté aquí? Reservad una llamada
Siguiente paso
¿Cuántas veces el trimestre pasado se cayó un flujo por un cambio en una fuente?
Os enseñaremos cómo es trabajar con datos cuando un cambio en una fuente es una señal y la calidad se comprueba antes de publicar.