[Hiring] Senior Data Engineer @Seekerh

Role Description

Buscamos Engenheiro de dados SR para nosso cliente, uma consultoria de tecnologia, atuante no segmento de dados, conectando plataformas, dados e IA para acelerar a transformação digital de empresas líderes. A empresa possui um ecossistema completo de soluções em dados, da arquitetura de integração à inteligência artificial — engenharia de ponta a ponta, com segurança e escala. Esse profissional irá atuar em um dos grandes clientes da consultoria.

• Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços do ecossistema Azure e Databricks.
• Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT), incluindo cenários de ingestão em tempo real.
• Implementar e otimizar soluções utilizando serviços como Azure Data Factory, Azure Data Lake Storage (ADLS Gen2), Databricks Jobs/Workflows, Azure Functions, Azure Synapse Analytics e Event Hubs/Event Grid.
• Projetar, implementar e sustentar Data Lakes e arquiteturas Lakehouse (medallion: Bronze/Silver/Gold) em ambiente Azure Databricks.
• Desenvolver soluções utilizando Python, SQL e PySpark com foco em performance, escalabilidade e qualidade dos dados.
• Trabalhar com grandes volumes de dados estruturados e não estruturados.
• Garantir qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline, com uso do Unity Catalog e conformidade com a LGPD.
• Otimizar consultas, processamento e consumo de dados (Databricks SQL Warehouses, dimensionamento de clusters), buscando redução de custos e aumento de performance.
• Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas.
• Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados (ex.: alertas de Databricks Jobs, Azure Monitor).
• Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma.
• Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados.

Qualifications

• Experiência sólida como Engenheiro(a) de Dados em ambiente Azure.
• Domínio dos principais serviços de dados do Azure, como Data Factory, ADLS Gen2, Databricks, Synapse Analytics e Azure Functions.
• Experiência sólida no desenvolvimento de pipelines ETL/ELT.
• Conhecimento avançado em Python e SQL.
• Experiência com modelagem de dados para ambientes analíticos e Data Lakes/Lakehouse.
• Conhecimento em Apache Spark ou PySpark.
• Experiência com versionamento utilizando Git e práticas de CI/CD (idealmente Azure DevOps).
• Conhecimento em particionamento, otimização de consultas e processamento distribuído.
• Experiência com monitoramento, observabilidade e troubleshooting de pipelines.
• Conhecimento em arquitetura de dados em cloud e boas práticas de segurança, governança e conformidade com a LGPD.
• Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos.

Requirements

• Experiência com Databricks Unity Catalog para governança e catalogação de dados.
• Conhecimento em Delta Lake e arquitetura medallion (Bronze/Silver/Gold).
• Conhecimento em Azure Data Factory e/ou Databricks Workflows / Databricks Asset Bundles (DABs) para orquestração.
• Experiência com arquiteturas orientadas a eventos (Event Hubs, Event Grid).
• Experiência com integração de sistemas legados/ERP (ex.: SAP) em pipelines de dados.
• Conhecimento em frameworks de qualidade de dados (ex.: DQX - Databricks Labs, dbt, Great Expectations).
• Conhecimento em ingestão de dados em tempo real (ex.: Event Hubs, Kafka).
• Experiência com Docker e Kubernetes (AKS).
• Conhecimento em infraestrutura como código (Terraform ou Bicep/ARM Templates).
• Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps.
• Experiência em ambientes corporativos de grande porte e projetos de missão crítica.
• Certificações Azure e/ou Databricks (ex.: DP-203, Databricks Certified Data Engineer).

Benefits

• O modelo de contratação pode ser PJ (sem benefícios) ou CLT.