[Hiring] Data Engineer @Empresas HumanNet

Role Description

Empresa de tecnología busca un Data Engineer para trabajar de manera remota en un proyecto.

• Revisión de documentación y fuentes
• Analizar los archivos de ejemplo de hasta 6 fuentes de datos (brokers/vehículos, JSON de assets, etc.) y su metadata disponible.
• Identificar campos clave, llaves de negocio y necesidades de normalización/anonimización.
• Diseño técnico de la solución ETL
• Definir el modelo de datos común para las 6 fuentes (esquemas, tipos, particiones y naming en S3).
• Diseñar el flujo ETL
• Configuración de la plataforma en AWS
• Crear y/o ajustar buckets S3, estructuras de carpetas y permisos básicos para el data lake.
• Configurar Glue Catalog (tablas y bases) y recursos básicos de Glue para la orquestación.
• Desarrollo de pipelines ETL para hasta 6 fuentes
• Implementar jobs de ingestión: lectura de archivos, tipificación de campos, gestión de errores.
• Implementar jobs de normalización: mapping de columnas a modelo estándar, enriquecimientos básicos, generación de datasets curados listos para cálculo.
• Incorporar reglas mínimas de calidad de datos (campos obligatorios, tipos, rangos) y logging de registros rechazados.
• Tets y afinamiento
• Ejecutar test con datos reales/de ejemplo para las 6 fuentes, documentar incidentes y ajustar transformaciones.
• Medir tiempos de proceso y revisar estructura de particionado para optimizar consultas posteriores.
• Documentación y traspaso
• Documentar los flujos ETL (diagramas sencillos, descripción de jobs/tablas, rutas de S3, reglas por fuente).
• Realizar una sesión de handover con el equipo del cliente para explicar cómo operar y extender los pipelines.

Qualifications

• Experiencia mínima: 3 años como Ingeniero de Datos / Data Engineer trabajando con procesos ETL.
• Experiencia en diseño e implementación de pipelines ETL/ELT (idealmente en proyectos de consolidación de múltiples fuentes).
• Manejo de datos en AWS:
• Obligatorio: S3, IAM, servicios de cómputo orientados a datos (AWS Glue, AWS Lambda o similar).
• Deseable: Athena y/o Redshift para pruebas/validación de datos.
• Uso de SQL para consultas y validaciones; deseable Python para scripts de transformación.
• Trabajo con formatos de datos como CSV, Excel, JSON.

Company Description