[Hiring] Data Engineer (AWS/LLMs) | SR @Compass UOL

Role Description

• Definir e evoluir arquitetura de dados cloud-native na AWS;
• Projetar modelos de dados otimizados para: consulta operacional (APIs) e consumo pelo agente conversacional;
• Liderar migração de dados históricos do mainframe;
• Garantir consistência, integridade e rastreabilidade;
• Trabalhar com grandes volumes e dados históricos complexos;
• Construir e manter pipelines de ingestão e transformação;
• Integrar fluxo existente (PeopleSoft, mainframe, RDS);
• Otimizar consultas no PostgreSQL;
• Implementar estratégias de particionamento, indexação e caching (Redis);
• Reduzir latência para consultas frequentes;
• Garantir aderência a LGPD, políticas de retenção;
• Implementar controle de acesso a dados, mascaramento / anonimização quando necessário, auditoria e lineage;
• Estruturar dados para consumo por LLMs;
• Apoiar criação de camadas semânticas;
• Trabalhar com embeddings / indexação semântica (diferencial);
• Implementar validações de qualidade de dados;
• Monitorar pipelines e consistência;

Qualifications

• Experiência com Data Engineering em AWS;
• Construção e manutenção de pipelines de dados (ingestão e transformação);
• Integração de dados de sistemas legados e corporativos (mainframe, PeopleSoft, RDS);
• Experiência com modelagem de dados para diferentes consumos (APIs e analytics/IA);
• Forte atuação em PostgreSQL (otimização de queries, performance, indexação e particionamento);
• Conhecimento em caching (Redis);
• Experiência com grandes volumes de dados e migração de sistemas legados;
• Práticas de governança de dados (LGPD, auditoria, lineage, controle de acesso e qualidade);
• Estruturação de dados para consumo por LLMs (camadas semânticas e embeddings – diferencial);