[Hiring] Data Engineer | Kafka & Snowflake @BIX Tecnologia

Role Description

Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento. Se você é essa pessoa, que tem um senso de equipe e que procura por desenvolvimento constante, a BIX é para você!

Qualifications

• Experiência sólida no provisionamento e uso de serviços AWS como DMS, S3, Glue, Athena, Kinesis, IAM (roles/policies), VPC/networking, etc;
• Experiência no desenho de pipelines near-real-time, semantics de processamento (at-least-once / exactly-once) e trade-offs entre latência e consistência;
• Experiência com captura contínua de mudanças via redo logs, supplemental logging e replicação incremental;
• Experiência sólida e comprovada em produção com Apache Kafka;
• Domínio de arquiteturas orientadas a eventos e dos trade-offs entre latência, throughput e consistência;
• Experiência prática de ingestão e modelagem no Snowflake;
• SQL avançado e modelagem de dados relacional e dimensional;
• Terraform e esteiras de deploy para provisionar e versionar infraestrutura de streaming;
• Inglês avançado/fluente para atuação internacional.

Requirements

• Desejáveis:
• Orquestração: Airflow, Data Factory ou equivalente;
• Experiência com ingestão contínua nativa do Snowflake será um diferencial forte;
• Conhecimento em conectores de CDC integrados ao Kafka;
• Certificação em Snowflake.

Responsibilities

• Projetar, construir e manter pipelines de ingestão em tempo real ponta a ponta, de fontes transacionais e eventos até o Snowflake;
• Modelar tópicos, particionamento e retenção; implementar producers/consumers, gerenciar schema evolution e garantir semânticas de entrega adequadas (at-least-once / exactly-once conforme o caso);
• Capturar mudanças de sistemas de origem (incluindo SAP e bancos transacionais) e transformá-las em fluxos de eventos consumíveis;
• Operacionalizar a carga contínua no Snowflake com padrões de ingestão near-real-time, minimizando latência e custo;
• Implementar tratamento de falhas, dead-letter queues, idempotência, backpressure e validação de dados em trânsito;
• Instrumentar métricas de lag, throughput e freshness; definir alertas e SLOs para os fluxos de dados;
• Trabalhar com o time central de plataforma e com as unidades de negócio (spokes), documentando contratos de dados e padrões de ingestão;
• Documentar arquitetura, decisões técnicas e realizar code review com o time;
• Realizar reuniões com clientes, por meio de videoconferência, desenvolvendo os questionamentos estratégicos voltados ao seu negócio/processo, a cada início de projeto ou sprint;
• Gerenciar atividades do projeto, utilizando métodos ágeis, de modo a garantir as entregas, a cada novo projeto.

Benefits

• Trabalho 100% remoto;
• Plataforma de terapia e nutricionistas online;
• Plataforma de bem estar;
• Plano de carreira acelerado;
• Contato direto com líderes de grandes empresas;
• Ambiente diferenciado (Hora BIX, integrações e Happy Hours, Programa de Mentoria, Reuniões 1on1);
• Aulas on-line de inglês (cambly);
• Folga no aniversário.