[Hiring] Senior Data Engineer - ETL for National Project Repository @beta.gouv.fr

Role Description

L’API Projets Collectivités est le service numérique DINUM × SGPE qui construit le référentiel national des projets des collectivités :

• Rapprochement multi-sources (dotations État, marchés publics, fonds d’aides, programmes des opérateurs de l’État)
• Dédoublonnage
• Classification
• Identifiant unique de projet

Il alimente les vues territoriales des services de l’État (SGCOP, DREAL, préfectures) et les démarches de financement.

Nous avons une base consolidée d’environ 1,2 million de projets, une déduplication et une classification qui fonctionnent, mais en pipeline one-shot. Ta mission : en faire un ETL de production avec un enjeu transverse : faire tourner le run sur une stack souveraine (modèles ouverts, hébergement État) et des algorithmes lean et rapides.

La mission (≈ 22 jours, concentrés sur novembre) :

• Industrialiser le pipeline existant → ETL reproductible en environnement de test puis en prod : séparation datasources / calculs / logging des calculs, registre des sources, réversibilité des saisies humaines.
• Brancher les sources en flux en incrémental
• Fiabiliser le rapprochement / dédup (record linkage, blocage territorial, scores, évaluation précision/rappel).
• Classifieur quasi temps réel sur stack souveraine : poursuivre un élève distillé (CPU, open-weight) et l’usage de modèles ouverts hébergés par l’État (Albert API).
• Documenter l’architecture et transmettre.

Livrables à fin novembre :

• ETL reproductible en test
• Connecteurs de flux
• Registre des sources
• Classifieur opérationnel
• Doc d’architecture

Qualifications

• Track record sur des projets similaires (ETL en production, maintenable et documenté)
• Pipelines batch et flux (idempotence, reprise, webhooks), orchestration, tests de données
• Record linkage / entity resolution
• Autonome en prod (PaaS, Docker), capable d’écrire et documenter une architecture
• Pratique des assistants de code (toute l’équipe développe avec)

Requirements

• Distillation / classifieurs légers (BERT & co) et modèles open-weight
• dbt
• Expérience de référentiel/MDM
• Données publiques françaises
• Secteur public

Benefits

• Freelance, contractualisation via le titulaire du marché public beta.gouv
• Contrainte de temps forte : démarrage début novembre, ~22 jours, temps plein souhaité (4 j/sem minimum), livrables réceptionnés avant mi-décembre
• Prolongation possible en 2027
• Full remote
• Stack : PostgreSQL, Python, NestJS/TypeScript côté API, Scalingo
• TJM : à discuter selon profil

Recruitment process

• Processus rapide, on démarre dans 10 jours
• Call de 20 min (alignement mission / dispo / TJM)
• Entretien métier de 45 min + courte mise en situation (étude de cas ETL / dédup)
• Décision sous 48 h