[Hiring] Senior Data Engineer (Python / Microservices) @ília

Role Description

Esta oportunidade é para atuar em um time de alta performance. Buscamos um perfil híbrido que domine a Engenharia de Dados, mas que possua a "casca" de desenvolvimento de software. Diferente de posições tradicionais de dados, aqui você trabalhará diretamente com a integração entre pipelines e microsserviços, exigindo versatilidade para transitar entre diferentes stacks tecnológicas conforme o desafio do projeto.

Responsabilidades:

• Ingestão e Extração: Desenvolver scripts (Python puro ou PySpark) para consultar bases SQL Server, tratar os dados e publicá-los em buckets AWS S3.
• Processamento (Arquitetura Medalhão): Construir pipelines para mover e refinar dados entre as camadas Bronze e Prata utilizando Python, PySpark e AWS Glue.
• Disponibilização de Dados: Garantir a entrega de dados em OpenSearch (Fast Data) e no Amazon Redshift (para suporte ao time de BI).
• Integração com Microsserviços: Colaborar com a camada de consumo, onde microsserviços em Node.js consultam o OpenSearch para servir as aplicações finais.
• Visão Consultiva: Atuar de forma autônoma, indicando os melhores caminhos técnicos e arquiteturais para o projeto.

Qualifications

• Sólida vivência em projetos de engenharia de dados com autonomia para execução sem supervisão constante.
• Domínio de Python e PySpark: Experiência avançada em processamento de dados e scripts de automação.
• Software Engineering: Conhecimento profundo em Programação Orientada a Objetos (POO) e conceitos sólidos de Microsserviços.
• Cloud AWS: Experiência prática com S3, Glue e Redshift.
• Banco de Dados: Domínio de SQL para consultas e manipulações (SQL Server).
• Mentalidade "Agnostic Stack": Flexibilidade e interesse em lidar com múltiplas linguagens e curvas de aprendizado (como baixar um projeto Node.js ou Java para testes e spikes).

Requirements

• Conhecimento prévio em Node.js.
• Experiência com OpenSearch ou ferramentas similares de busca.
• Experiência com AWS Glue utilizando Python.

Benefits

• Nossa contratação é CLT- 40h semanais com jornada flexível, sendo executada de forma remota.
• Para Saúde e bem-estar:
  • Plano de Saúde e Odontológico SulAmérica extensivo a dependentes;
  • Vale Alimentação/Refeição em cartão flexível Caju benefícios;
  • Seguro de Vida;
  • Auxílio Home-Office em cartão flexível Caju benefícios;
  • Wellhub (Gympass);
  • Sesc – extensivo a dependentes, com acesso aos serviços em todo o Brasil;
  • TotalPass.
• Para o seu Desenvolvimento:
  • ília University: Universidade Corporativa com mais de 20 mil cursos disponíveis para desenvolvimento pessoal e profissional;
  • Language Academy: Escola de idiomas para ílians;
  • í-talks e Chapter: Momentos e cerimônias em que o time compartilha práticas, estudos, projetos e ideias. Nas chapters ainda se reúnem pessoas com skills similares para compartilhamento de ideias, práticas e experiências;
• Benefícios não convencionais:
  • Plano de Saúde PET - Guapeco;
  • Onhappy – benefício de viagem a lazer, com liberdade para você viajar com quem quiser;
  • BYOD - Alugamos o seu notebook pessoal te pagando um valor mensal para que você o use, mas disponibilizamos também máquinas de trabalho para ílians. Você quem decide!
  • Seu Niver, seu bolo!
  • Seu Networking Vale Prêmio - Programa de premiação a indicação de novos funcionários.