[Hiring] Senior Data Engineer @Rehva Tech

Role Description

Buscamos uma Pessoa Engenheira de Dados para fazer parte do time responsável por transformar dados de diferentes fontes em informações acessíveis, consistentes e úteis. O time de Engenharia de Dados é responsável por viabilizar qualquer análise e tomada de decisão no tempo adequado, provendo dados corretos e confiáveis de maneira segura. Nesta posição, você atuará na construção e evolução da nossa plataforma de dados, desde a ingestão e transformação até a disponibilização para áreas de negócio, Analytics e Ciência de Dados. Procuramos alguém que combine conhecimento técnico, visão de negócio, senso de responsabilidade sobre o ambiente de produção e vontade de melhorar continuamente a forma como trabalhamos com dados.

Nossa stack é baseada principalmente em:

• Python
• SQL
• Apache Airflow
• Trino
• Apache Iceberg
• Amazon S3
• PostgreSQL
• Superset
• Docker
• Ferramentas de monitoramento
• Práticas de integração e entrega contínuas

Responsibilities

• Desenvolver, manter e evoluir pipelines de ingestão, transformação e disponibilização de dados utilizando Python, SQL e Apache Airflow;
• Estruturar e otimizar tabelas, modelos de dados para atender às necessidades analíticas e operacionais da empresa;
• Trabalhar com nosso Data Lake, utilizando tecnologias como Amazon S3, Apache Iceberg e Trino;
• Integrar dados provenientes de bancos relacionais, APIs, arquivos e outros sistemas internos e externos;
• Garantir que os dados sejam disponibilizados dentro do prazo necessário, com qualidade, consistência, rastreabilidade e segurança;
• Implementar validações, alertas, métricas e mecanismos de monitoramento para identificar falhas e atrasos nos pipelines;
• Investigar e corrigir problemas de dados e de performance, atuando na causa raiz e prevenindo recorrências;
• Apoiar analistas, cientistas de dados e áreas de negócio na definição de requisitos e na construção de soluções adequadas para cada necessidade;
• Contribuir para a evolução da arquitetura, da governança e das práticas de controle de acesso aos dados;
• Criar e manter documentação técnica sobre pipelines, tabelas, regras de negócio e decisões de arquitetura;
• Desenvolver código legível, testável e sustentável, participando de revisões de código e compartilhando conhecimento com o time;
• Buscar continuamente oportunidades de automação, simplificação e redução do tempo entre uma necessidade de negócio e a disponibilização dos dados;
• Acompanhar as soluções em produção e assumir responsabilidade pela confiabilidade dos produtos de dados sob sua atuação.

Company Description