[Hiring] Senior Data Engineer @Avantti

Role Description

A Avantti Tecnologia está em busca de um(a) Senior Data Engineer (Databricks) para integrar um time de tecnologia especializado em engenharia de dados e desenvolvimento de plataformas modernas de processamento e analytics.

• Desenvolver e implementar soluções de engenharia de dados utilizando a plataforma Databricks.
• Construir, manter e otimizar pipelines de dados escaláveis para processamento Batch, Micro-batch e Streaming.
• Implementar soluções utilizando Apache Spark, Delta Lake, Delta Live Tables (Lakeflow Declarative Pipelines), Unity Catalog e Apache Iceberg.
• Desenvolver pipelines orientados por configurações YAML, utilizando padrões modernos de ingestão e processamento de dados.
• Implementar estratégias de ingestão incremental e processamento automatizado utilizando Databricks Auto Loader.
• Desenvolver e gerenciar workflows e orquestrações complexas utilizando Databricks Jobs/Workflows, Apache Airflow ou dbt.
• Garantir qualidade, integridade, rastreabilidade e observabilidade dos dados.
• Implementar mecanismos de auditoria, monitoramento e validação de pipelines.
• Participar de sessões de desenho técnico e arquitetura, contribuindo para a definição das melhores soluções.
• Transformar requisitos complexos em atividades técnicas estruturadas, garantindo qualidade e cumprimento dos prazos.
• Colaborar com Solution Architects e equipes multidisciplinares na implementação de componentes das plataformas de dados dos clientes.
• Participar de iniciativas do Databricks Center of Excellence (CoE), contribuindo para a criação de aceleradores, componentes reutilizáveis e melhorias técnicas.
• Acompanhar tendências e novas funcionalidades do ecossistema Databricks, aplicando inovação e melhoria contínua nas soluções desenvolvidas.

Qualifications

• Experiência sólida em Engenharia de Dados, com pelo menos 2 anos de experiência prática no desenvolvimento e desenho de pipelines utilizando Databricks.
• Domínio de desenvolvimento de pipelines e processamento de dados em ambientes distribuídos.
• Experiência prática com:
  • Databricks;
  • Delta Lake;
  • Delta Live Tables (Lakeflow Declarative Pipelines);
  • Unity Catalog;
  • Apache Iceberg / Uniform;
  • Databricks Auto Loader.
• Experiência na construção de pipelines escaláveis orientados por configurações YAML.
• Conhecimento em padrões de ingestão e processamento Batch, Micro-batch e Streaming.
• Experiência com orquestração de jobs e workflows utilizando Databricks Jobs/Workflows, Apache Airflow ou dbt.
• Conhecimento em qualidade, auditoria e observabilidade de dados, utilizando recursos nativos do Databricks ou ferramentas como Great Expectations, Collibra e dbt.
• Domínio de plataformas Big Data, especialmente:
  • Apache Spark;
  • Presto;
  • Amazon EMR.
• Experiência com Cloud Data Warehouses:
  • Amazon Redshift;
  • Snowflake;
  • Google BigQuery.
• Sólidos conhecimentos em SQL, Stored Procedures e programação orientada a objetos.
• Experiência com linguagens de programação como Python, PySpark ou Java.
• Familiaridade com práticas de DevOps e CI/CD, incluindo Databricks Asset Bundles, validação automatizada e testes.
• Conhecimento em ferramentas de versionamento, automação e implantação de soluções de dados.

Requirements

• Experiência com Infrastructure as Code (IaC), especialmente Terraform.
• Conhecimento em bancos de dados NoSQL.
• Familiaridade com plataformas de gerenciamento de containers.
• Experiência com ferramentas de Inteligência Artificial e Machine Learning, especialmente MLflow.
• Conhecimento em Prompt Engineering e desenvolvimento de workflows envolvendo agentes de IA (Agentic AI).
• Certificação Databricks Certified Data Engineer Associate e/ou Professional.
• Experiência em múltiplos projetos de implementação e entrega de soluções utilizando Databricks.
• Participação em comunidades técnicas e iniciativas de inovação em Engenharia de Dados.

Benefits

• Perfil analítico, curioso e orientado à resolução de problemas complexos.
• Autonomia técnica e capacidade de conduzir atividades com pouca supervisão.
• Facilidade para trabalhar em equipes multidisciplinares.
• Capacidade de decompor desafios técnicos complexos em entregas estruturadas.
• Proatividade na identificação de oportunidades de melhoria e inovação.
• Boa comunicação e habilidade para compartilhar conhecimento com o time.
• Comprometimento com qualidade, eficiência e cumprimento de entregas.