[Hiring] Senior Data Engineer @Zup Innovation

Role Description

Participar do processo de entendimento das necessidades do negócio, entendendo e garantindo a entrega de valor;

• Desenhar a arquitetura e avaliar as tecnologias disponíveis para resolver o problema certo;
• Desenvolver e evoluir pipelines de dados escaláveis e preparados para alimentar modelos de IA Generativa e soluções de RAG;
• Implementar pipelines de Dados para democratização de dados em uma arquitetura Data Mesh, criando camadas semânticas e dados estruturados para consumo por IA;
• Combinar a arquitetura e tecnologia para desenvolver e entregar componentes reutilizáveis como conectores, APIs, SDKs, CLIs, integrando com APIs de LLMs (OpenAI, Claude, Gemini);
• Prototipar agentes inteligentes utilizando frameworks como LangChain, LangGraph e CrewAI, avaliando custo, latência e qualidade das integrações;
• Testar e automatizar tudo que for possível;
• Validar e adaptar os componentes de acordo com os feedbacks dos usuários;
• Colaborar com a qualidade e inovação tecnológica do produto e ambiente de trabalho.

Qualifications

• Conhecimento em processamento de dados em larga escala, processamento paralelo e distribuído (Apache Spark, Hadoop, Hive, etc);
• Experiência prática em ELT utilizando dbt, Data Lake/Lakehouse e orquestração com Airflow;
• Experiência com serviços de Data & Analytics da nuvem AWS (Glue, EMR, Athena, Quicksight);
• Conhecimento de linguagem de programação Python;
• Domínio sobre os principais serviços da Cloud AWS (S3, Lambda, SQS, DynamoDB, API Gateway);
• Proficiência no uso de LLMs, aplicação prática de embeddings, RAG (Retrieval-Augmented Generation) e Bancos Vetoriais (Pinecone, Milvus, pgvector, Qdrant, etc.);
• Habilidade em Engenharia de Prompts e orquestração com frameworks como LangChain ou LangGraph;
• Atuação prática consistente com bases de dados relacionais (SQL) e NoSQL (documentos e chave-valor);
• Domínio de práticas de DevOps e infraestrutura como código (Terraform, CodePipeline, etc).

Requirements

• Experiência anterior em iniciativas de democratização de dados com Data Mesh;
• Experiência em avaliação comparativa entre diferentes LLMs de mercado considerando custo-benefício e latência;
• Experiência com IA generativa ou ferramentas de automação aplicadas a pipelines de dados, como geração assistida de código, documentação automatizada ou monitoramento inteligente de qualidade de dados;
• Conhecimentos de Observability (Cloudwatch, CloudTrail, Prometheus, AppDynamics, Splunk, ElasticSearch, Grafana, etc.);
• Conhecimento em técnicas avançadas de cache para sistemas escaláveis de IA;
• Ter experiência no desenvolvimento de soluções para instituições financeiras.

Benefits

• Liberdade para trabalhar de onde quiser;
• Horários flexíveis;
• Auxílio Educação;
• Ferramenta própria de desenvolvimento de carreira;
• Guildas internas e outros grupos de estudo e interesse;
• Plano saúde;
• Plano odontológico;
• Parceria na compra de medicamentos;
• Telemedicina: assistência médica disponível 24x7;
• Terapia online gratuita;
• Wellhub;
• Licença maternidade estendida;
• Licença paternidade estendida;
• CAZ – Central de Atendimento a Zuppers;
• Vale-refeição e alimentação;
• Seguro de vida;
• Vale-transporte;
• Auxílio home office;
• Auxílio Creche;
• Auxílio plano telefônico;
• Participação em Lucros e Resultado.