[Hiring] Doctoral Fellow [LLM, Model Evaluation, Python, Prompt Engineering] ICT Itaú @IEL

Role Description

Projeto de inovação do ICT Itaú em parceria com Inova Talentos.

• Projetar e implementar avaliações e testes de personas sintéticas para simulação de diferentes perfis de usuários, objetivos e comportamentos.
• Desenvolver pipelines experimentais de LLM-as-a-Judge, incluindo construção de prompts, rubricas e protocolos de avaliação automática para análise escalável de respostas geradas por modelos de IA, misturando conceitos de Reinforcement Learning e Preference Optimization.
• Investigar e aplicar técnicas de otimização por preferências e aprendizado por reforço para melhoria contínua de modelos de linguagem, analisando impactos em qualidade, robustez e alinhamento.

Qualifications

• Formação: Doutorado
• Cursos: Ciência da Computação, Engenharia da Computação, Sistemas de Informação, Ciência de Dados, Estatística, Matemática Aplicada, áreas correlatas à Computação, Inteligência Artificial, Machine Learning.

Requirements

• Programação em Python.
• Conhecimento dos fundamentos de Machine Learning e Deep Learning.
• Familiaridade com Large Language Models (LLMs) e IA Generativa.
• Experiência com bibliotecas de desenvolvimento de modelos de IA (PyTorch e/ou Hugging Face Transformers).
• Capacidade de leitura e compreensão de artigos científicos em inglês.
• Conhecimentos básicos de experimentação, análise de resultados e avaliação de modelos.

Benefits

• Disponibilidade: 40h semanais;
• Duração: 12 meses;
• Bolsa Auxílio: R$ 11.000,00;
• Atuação: Remota;
• Local da empresa: Bairro do Jabaquara, SP.