[Hiring] Databricks Lakehouse Data Engineer | Senior @Compass UOL

Role Description

• Colaborar na construção da plataforma Enterprise Lakehouse em Databricks, estruturada em domínios de dados conforme os princípios de Data Mesh.
• Implementar e administrar o Unity Catalog como camada de governança central e o compartilhamento de dados entre domínios via Delta Sharing.
• Desenvolver padrões de ingestão de dados (streaming e batch) e o template de arquitetura medalhão (bronze/silver/gold) para uso dos domínios.
• Desenvolver o framework de contrato de dados e o framework de Data Quality da plataforma.
• Estruturar esteiras de CI/CD para a plataforma Databricks e automação de infraestrutura.
• Integrar a plataforma Databricks ao produto Data Mesh existente na AWS, garantindo interoperabilidade de catálogos e aderência ao modelo de contrato de dados.
• Contribuir com decisões de arquitetura, documentação técnica e mentoria do time.

Qualifications

• Databricks: experiência sólida com a plataforma — administração de workspaces, clusters, jobs e workflows;
• Unity Catalog: governança de dados, modelo de permissões, lineage, external locations e integração com storage;
• Delta Lake e arquitetura medalhão (bronze, silver, gold) em ambientes produtivos;
• Padrões de ingestão de dados: streaming e batch em escala;
• CI/CD para Databricks (Databricks Asset Bundles, Repos, integração com esteiras como GitHub Actions, Azure DevOps ou similares);
• Ecossistema AWS: S3, Glue, Lake Formation, EMR (EC2 e Serverless), Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS e EventBridge;
• IaC (Terraform, incluindo o provider do Databricks);
• Python e PySpark avançados para desenvolvimento de pipelines e automações de plataforma;
• SQL avançado;
• Data Contracts e ferramentas de metadados como OpenMetadata;
• DataDog: para controles e monitoramentos de observabilidade;

Requirements

• Vivência em projetos de Data Mesh (domínios, data products, governança federada) — diferencial importante;
• Experiência no mercado financeiro ou de crédito — diferencial importante;
• Observabilidade e monitoramento de plataformas de dados (system tables, métricas de jobs, qualidade de dados);
• FinOps: monitoramento, alocação e otimização de custos em Databricks (DBUs, dimensionamento de clusters, políticas de compute);
• Delta Sharing em cenários cross-company, cross-cloud ou cross-region;
• Certificações AWS (ex.: Data Engineer Associate, Solutions Architect);
• Certificações Databricks (Data Engineer Associate, Data Engineer Professional, Platform Administrator);
• Especificações abertas de contrato de dados (Open Data Contract Standard, ODPS).