[Hiring] Databricks Data Engineer @Compass UOL

Role Description

• Desenvolver e manter pipelines de dados batch e streaming no Databricks utilizando PySpark e Spark SQL;
• Implementar pipelines seguindo arquitetura Medallion (Bronze, Silver e Gold) já definida pela arquitetura de dados;
• Apoiar na migração de pipelines e jobs legados de ferramentas como IBM DataStage, Azure Data Factory e Azure Synapse Analytics para Databricks Workflows;
• Auxiliar na migração de rotinas e notebooks do ambiente Databricks on Azure para AWS;
• Desenvolver e versionar notebooks e códigos utilizando Databricks Repos e Git;
• Implementar testes básicos e rotinas de qualidade de dados em pipelines;
• Apoiar a modelagem dimensional do Data Warehouse (Star Schema) junto ao time de arquitetura;
• Colaborar com o time de DevOps na automação de deploys e CI/CD;
• Participar da implementação de governança de dados com Unity Catalog;
• Monitorar e dar suporte a pipelines de dados em produção.

Qualifications

• Experiência como Engenheiro(a) de Dados ou Data Engineer Pleno;
• Conhecimento em Databricks e Apache Spark (PySpark e Spark SQL);
• Experiência com Python e SQL avançado;
• Vivência com ambientes em nuvem, preferencialmente AWS (S3, Glue Catalog);
• Conhecimento em arquitetura Lakehouse e Delta Lake;
• Experiência com pipelines de dados batch e/ou streaming;
• Familiaridade com Git e versionamento de código;
• Noções de modelagem dimensional (Star Schema / Data Warehouse);
• Noções de CI/CD aplicadas a dados;

Requirements

• Conhecimento em IBM DataStage (migração ou suporte a legado);
• Conhecimento em Azure Data Factory e Azure Synapse Analytics;
• Experiência com Databricks em Azure;
• Noções de governança de dados e catálogo (Unity Catalog ou similares).