[Hiring] Data Engineer Databricks @Programmers

Role Description

Buscamos um Engenheiro de Dados com experiência em Databricks, que tenha domínio em processos de ingestão, transformação, processamento e estruturação de dados, garantindo que as informações estejam organizadas, confiáveis e prontas para atender às necessidades do negócio.

É importante ter um perfil dinâmico, proativo e adaptável, com autonomia para atuar em times enxutos, lidar com diferentes desafios e entregar soluções de forma ágil, nos quais a qualidade e a organização dos dados são fundamentais para viabilizar o desenvolvimento de agentes e outras aplicações inteligentes.

Responsibilities

• Projetar, desenvolver e implantar pipelines de dados ETL/ELT escaláveis no Databricks usando PySpark, SQL e Delta Lake.
• Otimizar o desempenho dos pipelines de dados e gerenciar fluxos de trabalho utilizando Jobs, Workflows e notebooks do Databricks.
• Ingerir, limpar, transformar e processar dados estruturados e não estruturados provenientes de diversas fontes.
• Colaborar com arquitetos de dados, analistas e usuários de negócios para traduzir requisitos em modelos.
• Gerenciar e monitorar a execução dos pipelines com ferramentas como Airflow.

Qualifications

• Experiência prática em engenharia de dados, trabalhando com Databricks.
• Proficiência em PySpark, SQL e processamento distribuído de dados.
• Compreensão sólida do Delta Lake, arquitetura Lakehouse e princípios de modelagem de dados.
• Experiência com plataformas em nuvem como AWS (Databricks em qualquer nuvem é aceitável).
• Familiaridade com pipelines CI/CD e controle de versão (ex.: Git, GitHub, Azure DevOps).
• Familiaridade com uso de IA no dia a dia.
• Experiência com ferramentas de orquestração (ex.: Airflow, Workflows do Databricks).
• Habilidades avançadas para resolução de problemas e depuração em ambientes distribuídos.

Requirements

• Certificação Databricks (ex.: Databricks Certified Data Engineer Associate/Professional) é altamente desejável.

Benefits

• Política de Home Office.
• Plano de saúde, com cobertura nacional.
• Plano odontológico.
• Convênio com Sesc.
• Wellhub.
• Vale refeição ou alimentação.
• Auxílio creche.
• Participação nos resultados.
• Licença parental estendida.
• Plano de desenvolvimento individual/anual com subsídio para capacitação.
• Treinamento do idioma inglês.