[Hiring] Senior Data Engineer @Sympla

Role Description

Como vai ser seu dia a dia como Pessoa Engenheira de Dados Sênior por aqui?

• Construir e manter pipelines de dados escaláveis, eficientes e confiáveis, com foco em automação, qualidade e performance;
• Projetar soluções de ingestão, transformação e orquestração de dados, utilizando tecnologias modernas e cloud;
• Garantir a governança, integridade e disponibilidade dos dados em ambientes analíticos e operacionais;
• Atuar no desenvolvimento e manutenção de data lakes, data warehouses e modelos de dados voltados para analytics e produtos de dados;
• Trabalhar em conjunto com analistas, cientistas de dados e engenheiros de software para entregar soluções orientadas por dados;
• Participar ativamente da evolução da arquitetura de dados da Sympla, propondo boas práticas e padrões técnicos;
• Colaborar na criação e manutenção de catálogos de dados, monitoramento de pipelines e gestão de metadados;
• Apoiar iniciativas de BI e IA, garantindo que os dados estejam prontos para uso analítico e modelagem.

Qualifications

• Arquitetura de Lakehouse Moderna:
• Experiência prática na criação, evolução e manutenção de tabelas no formato Apache Iceberg (gerenciamento de esquemas, partições ocultas, time travel e compactação).
• Motores de Consulta e Catálogo:
• Vivência no uso do Trino (ou AWS Athena) para consultas distribuídas de alta performance e governança de metadados integrada ao AWS Glue Data Catalog.
• Processamento distribuído:
• Domínio de Apache Spark (PySpark/Scala) rodando em clusters AWS EMR para processamento (batch e streaming) e escrita eficiente nas tabelas Iceberg.
• Transformação e Modelagem:
• Uso do dbt (Data Build Tool) para modelagem e transformações analíticas diretamente no Lakehouse.
• Ingestão e Mensageria (Tempo Real):
• Experiência prática com Apache Kafka e AWS Kinesis Data Firehose para processamento de streaming. Conhecimento sólido em estratégias de CDC (Change Data Capture) para captura de alterações em bancos de dados.
• Storage e Serverless:
• Vivência com AWS S3 como camada de storage e criação/manutenção de funções AWS Lambda integradas a pipelines de dados.
• Visualização de Dados:
• Capacidade de estruturar e otimizar dados para consumo em ferramentas de BI, especificamente o Metabase.
• Linguagens e SQL:
• SQL avançado (tuning de queries para Trino/Athena, joins complexos) e forte lógica de programação em Python.

Requirements

• Experiência com AWS Glue Crawlers e Glue Jobs.
• Otimização de performance e custos em clusters Trino e EMR (tuning de memória, instâncias spot, etc.).
• Conhecimento em Infraestrutura como Código (Terraform ou AWS CloudFormation).
• Práticas de CI/CD aplicadas a engenharia de dados.

Benefits

• Modelo de trabalho: Remoto.
• A Sympla prioriza a diversidade e a pluralidade.
• Acreditamos que um time diverso é essencial para a inovação e o sucesso.
• Valorizamos a troca de experiências e perspectivas e estamos comprometidos em criar um ambiente inclusivo e acolhedor para todos!