[Hiring] Senior Data Engineer @ICON Solutions do Brasil

Role Description

Buscamos um(a) Engenheiro(a) de Dados Sênior com sólida experiência em Databricks para atuar na construção de soluções modernas de dados, apoiando organizações em suas jornadas de transformação digital e analytics. Você fará parte do Centro de Excelência Databricks, trabalhando com arquiteturas Lakehouse, processamento distribuído, streaming de dados e tecnologias de última geração para desenvolvimento de plataformas de dados escaláveis.

Responsibilities

• Atuar como referência técnica em projetos de dados, com mínima supervisão.
• Desenvolver soluções inovadoras utilizando a plataforma Databricks e arquiteturas Lakehouse modernas.
• Participar da construção de plataformas de dados de próxima geração.
• Trabalhar em conjunto com Arquitetos de Solução na definição e implementação de componentes da arquitetura.
• Participar de workshops técnicos e sessões de design de soluções.
• Transformar requisitos complexos em entregas técnicas estruturadas.
• Desenvolver aceleradores, frameworks e componentes reutilizáveis para o Centro de Excelência Databricks.
• Colaborar com equipes multidisciplinares para garantir qualidade, escalabilidade e performance das soluções.

Main Technical Activities

• Desenvolvimento de pipelines de dados utilizando Databricks.
• Implementação e administração de:
  • Delta Lake
  • Unity Catalog
  • Delta Live Tables (Lakeflow Declarative Pipelines)
  • Apache Iceberg / Uniform
• Construção de pipelines batch, micro-batch e streaming.
• Ingestão de dados utilizando Auto Loader.
• Desenvolvimento de workflows e orquestrações utilizando:
  • Databricks Workflows
  • Apache Airflow
  • dbt
• Implementação de mecanismos de observabilidade, auditoria e qualidade de dados.
• Aplicação de práticas DevOps e CI/CD para ambientes Databricks.

Requirements

• Experiência sólida em Engenharia de Dados.
• Mínimo de 2 anos de experiência prática com Databricks em ambiente produtivo.
• Experiência em desenvolvimento de pipelines escaláveis orientados por configuração (YAML).
• Conhecimento avançado em:
  • SQL
  • Python
  • PySpark
• Vivência com arquiteturas de dados modernas.
• Conhecimento em:
  • Apache Spark
  • Presto
  • Amazon EMR
• Experiência com Data Warehouses Cloud:
  • Snowflake
  • Amazon Redshift
  • Google BigQuery
• Experiência com integração contínua e entrega contínua (CI/CD).
• Conhecimento em Git e versionamento de código.

Differentials

• Certificação Databricks Data Engineer Associate ou Professional.
• Experiência com Terraform e Infraestrutura como Código (IaC).
• Conhecimento em Great Expectations, Collibra ou ferramentas de Data Quality.
• Experiência com bancos NoSQL.
• Conhecimento em containers e Kubernetes.
• Vivência com MLflow e soluções de IA Generativa.
• Participação em projetos de modernização e migração para Lakehouse.

Location

Remoto