1. Collecte, Ingestion & Indexation
- Pipelines d'ingestion : Concevoir la collecte et le traitement de sources hétérogènes (édition, open data, bases juridiques), le parsing, le nettoyage, le chunking et la normalisation des documents.
- Indexation & Embeddings : Choisir et industrialiser les modèles d'embeddings, alimenter et maintenir les bases vectorielles, gérer la fraîcheur et la reconstruction des index.
- Qualité & Volumétrie : Garantir la scalabilité de l'indexation sur des corpus massifs et la traçabilité des données (lignage, versioning des index).
2. Recherche & Pertinence (Retrieval & RAG)
- Stratégie de retrieval : Combiner recherche lexicale et sémantique (BM25 + embeddings) avec du reranking et du filtrage par métadonnées pour maximiser la pertinence.
- Évaluation continue : Mettre en place des jeux de tests et des métriques de pertinence (Recall, Precision, nDCG, MRR) pour mesurer et piloter l'amélioration du retrieval.
- RAG (Retrieval-Augmented Generation) : Structurer la phase de récupération qui alimente les LLM (contexte, citations, dé-duplication, gestion des fenêtres de contexte).
- Observabilité & Sécurité : Instrumenter les pipelines (logs, métriques, traces) et garantir la conformité des données (RGPD, cloisonnement par pays).
3. Leadership Technique & Gouvernance
- Culture Craftsmanship : Promouvoir les pratiques de Clean Code, SOLID, et tests automatisés au sein de l'équipe.
- Rayonnement : Assurer une veille constante et contribuer au rayonnement technique du groupe (articles, meetups, open-source).
Profil candidat:
- Langages : Python 3.11+ (maîtrise requise), Go (ou appétence Java pour les sujets transverses).
- Indexation / Vector databases : pgvector, Weaviate, Qdrant, OpenSearch, recherche hybride.
- Embeddings & NLP : sentence-transformers, tokenisation, parsing de documents.
- RAG & LLM : LangChain, Reranking, OpenAI, Mistral, Bedrock.
- Data & Infra : PostgreSQL, Airflow / Spark, Kafka, Redis, Docker, Kubernetes, CI/CD.
- Tests & Évaluation : Pytest, Frameworks d'évaluation de pertinence.
- Formation : Diplôme de niveau Master, PhD ou équivalent en Informatique, Data Engineering ou IA.
- Expérience : Expérience avérée en Data Engineering ou Information Retrieval sur des volumes massifs de données en production.
- Expertise Retrieval : Vous maîtrisez l'indexation, les embeddings et la recherche hybride, et savez piloter la performance par la data.
- Culture Tech & Dev : Sensibilité aux pipelines reproductibles, au versioning de datasets, ainsi qu'aux bonnes pratiques de développement (Clean Code).
- Langues : Anglais fluide indispensable (échanges quotidiens dans un contexte européen).
