[Hiring] Senior SRE / Data Engineer — AWS and GCP Data Platform @Extractta

Role Description

Buscamos um(a) profissional sênior para atuar de forma dedicada em um banco digital de grande porte, em um squad de plataforma de dados responsável pela entrega governada de dados multi-cloud do banco, iniciativa originada das exigências do Open Finance.

O projeto envolve o desenvolvimento de pipelines para processamento de grandes volumes de dados no Google Cloud Platform (GCP) e disponibilização na AWS para uma arquitetura de Data Hub, utilizando AWS Glue, Amazon S3 Tables e Apache Iceberg.

Serão considerados profissionais de SRE com conhecimento em engenharia de dados ou engenheiros de dados com experiência em CI/CD e automação. A atuação será em conjunto com desenvolvedores Go, QA e os times de dados, arquitetura e SRE do banco.

Responsibilities

• Desenvolver, implantar e acompanhar pipelines para processamento e disponibilização de grandes volumes de dados.
• Contribuir para a integração entre o processamento no GCP e a disponibilização dos dados na AWS.
• Atuar com AWS Glue, Amazon S3 Tables e Apache Iceberg na implementação e evolução da plataforma.
• Estruturar e evoluir esteiras de CI/CD, automatizando testes e implantação de componentes.
• Contribuir para a confiabilidade, observabilidade, desempenho e operação dos pipelines e serviços de dados.
• Investigar falhas, identificar causas e implementar soluções em conjunto com os times envolvidos.
• Identificar dependências de infraestrutura, permissões e acessos, articulando a resolução de impedimentos.
• Participar das discussões de arquitetura e decisões técnicas, buscando referências e propondo soluções.
• Colaborar com desenvolvedores Go, QA e demais times do banco na implementação e validação das entregas.
• Atuar desde a discussão conceitual até a implementação, os testes e o acompanhamento em produção.

Qualifications

• Experiência sênior em SRE, Engenharia de Plataforma ou Engenharia de Dados.
• Conhecimento de engenharia de dados e pipelines, para profissionais de SRE, ou experiência em CI/CD e automação, para profissionais de Engenharia de Dados.
• Conhecimento sólido e experiência prática em AWS.
• Experiência com pipelines e processamento de grandes volumes de dados.
• Conhecimento de esteiras de CI/CD e automação de desenvolvimento e implantação.
• Domínio de Python para desenvolvimento e automação.
• Conhecimento de Apache Iceberg e sua utilização no ecossistema AWS.
• Conhecimento de GCP e capacidade de atuar em uma arquitetura que integra diferentes provedores de nuvem.
• Experiência em grandes empresas, com processos de governança e ambientes com restrições de acesso.
• Visão de ponta a ponta da solução, considerando processamento, armazenamento, integrações, implantação e operação.

Desired Qualifications

• Experiência prática com AWS Glue e Amazon S3 Tables.
• Conhecimento de Cloud Composer, Apache Airflow e Dataflow.
• Conhecimento ou experiência com Delta Lake.
• Conhecimento da linguagem Go.
• Vivência em projetos de integração de dados entre GCP e AWS.
• Experiência em bancos, fintechs ou projetos relacionados a Open Finance.

Behavioral Profile

Buscamos uma pessoa com maturidade profissional, autonomia e flexibilidade para atuar em ambientes corporativos complexos. É importante saber lidar com acessos restritos e dependências entre áreas, buscando os responsáveis, acompanhando solicitações e propondo alternativas dentro das regras do banco.

Esperamos alguém que contribua para discussões técnicas e conceituais com argumentos e referências e que também tenha atuação prática para desenvolver, implantar, testar e acompanhar os resultados. Boa comunicação, colaboração e iniciativa para resolver problemas são essenciais.

Benefits

• Vale Alimentação e/ou Vale Refeição;
• Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
• Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
• Auxílio para Certificações;
• Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
• Oportunidade de trabalhar em uma empresa do mercado em plena expansão.