20 meilleures offres (data architect freelance, paris, a8) (à pourvoir)

Testeur QA IA Gen - Freelance H/F
Collective.work —Paris (75)
- 300 € par jour
- Temps plein
- Azure
- Anglais
- Scripting
6 h
[FBO] Architecte cloud GCP - Paris - 1478 (IT) / Freelance
ISUPPLIER —Paris (75)
- De 400 € à 615 € par jour
- Informatique
- Master
- SQL
[LFR] Architecture Openshift à Guyancourt - 1609 (IT) / Freelance
ISUPPLIER —Guyancourt (78)
- De 600 € à 815 € par jour
il y a 2 jours
[FBO] Ingénieur d’Exploitation OPEN / OPS Applicatif Build & Run - Guyancourt - 1566 (IT) / Freelance
ISUPPLIER —Guyancourt (78)
- De 400 € à 450 € par jour
- Du lundi au vendredi
- Oracle
- Anglais
- Microsoft Office
Architecte Urbaniste ERP SAP sénior H/F (IT) / Freelance
Freelance.com —Paris (75)
- De 750 € à 1 000 € par jour
Architecte SI avec Une maitrise de SAP - Freelance H/F
Collective.work —Paris (75)
- Temps plein
il y a 9 jours
Expert DataOps / Microsoft Fabric (IT) / Freelance
5COM Consulting —La Défense (92)
- Azure
- SQL
il y a 14 jours
- Senior Data Engineer – GCP / Cloudera / Spark / Scala / PySpark - Freelance H/F
Collective.work —Paris (75)
- De 520 € à 65 000 € par mois
- Temps plein
- Azure
- Java
il y a 14 jours
Expert DataOps / Microsoft Fabric - Freelance H/F
Collective.work —Paris (75)
- Temps plein
- Azure
- SQL
il y a 14 jours
Expert Cybersécurité Cloud AWS (IT) / Freelance
Takima —Nanterre (92)
- De 550 € à 700 € par jour
- AWS
- Agile
- Python
il y a 2 jours
Lead Dev React (H/F) H/F - Freelance
Collective.work —Colombes (92)
- Temps plein
- AWS
- JavaScript
- Intelligence artificielle
Data Engineer Senior GCP / Big Data (Hadoop - Spark - Java/Scala) - Freelance H/F
Collective.work —Paris (75)
- 640 € par jour
- Temps plein
- Azure
- Java
- Compétences en communication
il y a 14 jours
[LFR] Ingénierie d'Exploitation Mainframe à Guyancourt - 1569 (IT) / Freelance
ISUPPLIER —Guyancourt (78)
- De 300 € à 450 € par jour
- Du lundi au vendredi
- Oracle
- DevOps
- Anglais
Architecte Plateforme IA Senior H/F - Pré-embauche - Freelance
Collective.work —Paris (75)
- Temps plein
- Azure
- Anglais
- SQL
il y a 2 jours
Architecte Cloud Public & Cloud de Confiance (H/F) – Multi-cloud (AWS / Azure / GCP) (Paris ou Lyon) (IT) / Freelance
Intuition IT Solutions Ltd. —Paris (75)
- Azure
- Python
Tech Lead Full Stack JAVA / REACT (IT) / Freelance
Hexagone Digitale —Paris (75)
- Azure
- Java
- Expérience en supervision
Chef de projet Marketing assurance H/F
SYD Groupe —Levallois-Perret (92)
- Temps plein
- Marketing
- Service client
- Ingénierie
Postuler rapidement
6 h
Consultant Urbaniste SI â€“ HOPEX H/F
ami consulting —Neuilly-sur-Seine (92)
- Temps plein
- Anglais
Postuler rapidement
il y a 9 jours
Tech Lead — Squad Data & IA (Java / Spring Boot / Angular / Python) - Freelance H/F
Collective.work —Paris (75)
- Temps plein
- Azure
- Informatique
- Ingénierie
il y a 12 jours
POT9226 - Un Architecte Solution Senior sur Vélizy-Villacoublay. (IT) / Freelance
Almatek —Vélizy-Villacoublay (78)
- Anglais
- Esprit d'analyse
- Intelligence artificielle
il y a 5 jours

Je souhaite recevoir la dernière alerte Emploi pour les postes de ce type : data architect freelance (paris, a8)

En vous connectant à votre compte, vous acceptez les Conditions d'utilisation de SimplyHired et consentez à notre Politique relative aux cookies et Politique de confidentialité.

Testeur QA IA Gen - Freelance H/F

Collective.work
Paris (75)

Soumettre votre candidature

Détails de l'emploi

Temps plein | Indépendant / freelance
300 € par jour
Il y a 6 heures

Qualifications

Azure
Git
Anglais
Docker
Scripting
Toiture
Python
HTML

Description complète du poste

Description du poste

Taux journalier (TJM): 300

Missions

Stratégie et cadrage de la recette (20 %)

Définir la stratégie de recette et les plans de test associés à chaque cas d'usage RAG Agentique (cadrage fonctionnel et technique, critères d'acceptation, métriques d'évaluation).
Formaliser les jeux de tests, les golden sets et les protocoles d'évaluation propres à un système RAG : pertinence, fidélité (faithfulness), groundedness, hallucinations, robustesse aux prompts adverses, latence, coût.
Contribuer à la gouvernance qualité des 50+ cas d'usage : matrice de couverture, suivi de non-régression, rituels de validation, comités de mise en production.

Implémentation et exécution des recettes (80 %)

Scripting et automatisation des campagnes de test (Python principalement) : exécution massive, parallélisation, collecte de logs et de métriques.
Construction et maintenance des datasets de recette : extraction et préparation de corpus, parsing de documents hétérogènes (PDF, HTML, Office, scans OCR), chunking adapté aux uses cases.
Génération d'embeddings de test et validation des index vectoriels (recall@k, MRR, qualité de la similarité, taille de chunks, stratégies de fenêtrage).
Tests des workflows agentiques : validation des chaînes d'agents, des outils invoqués (function calling), du routage des intentions, de la gestion d'erreurs et des fallbacks.
Mise en place d'évaluations LLM-as-a-judge (rubrics, scoring automatique, calibration par échantillonnage humain).
Tests de non-régression sur prompts, modèles (changements de version) et sources documentaires (mises à jour de la base).
Tests de robustesse et de sécurité : jailbreak, prompt injection, leakage de données sensibles, biais, conformité aux exigences réglementaires bancaires.
Reporting des défauts et collaboration directe avec les équipes Data/ML/Dev pour le débogage et la correction.
Contribution à l'outillage de recette : développement de helpers internes, intégration aux pipelines CI/CD, dashboards de qualité (Streamlit, Grafana, etc.).

Communication et accompagnement

Restituer les résultats de recette de manière synthétique aux Product Owners, équipes IT et métiers.
Documenter les bonnes pratiques de recette IA générative et contribuer au socle méthodologique de l'équipe Assets IA.
Participer aux communautés QA / GenAI 4 Dev du Groupe et y partager les retours d'expérience.

Compétences techniques attendues

Expérience confirmée en recette / QA sur des produits data, IA ou applicatifs critiques (idéalement secteur bancaire/assurance).
Maîtrise solide de Python : scripting, automatisation, manipulation de données, librairies de test (pytest, unittest).
Connaissance pratique des composants RAG : parsing (Unstructured, PyMuPDF, LlamaParse), chunking (recursive, semantic, hybride), modèles d'embeddings (OpenAI, Mistral, Cohere, BGE, etc.), bases vectorielles (Pinecone, Weaviate, Qdrant, FAISS, pgvector), reranking.
Connaissance des frameworks LLM/Agents : LangChain, LlamaIndex, LangGraph, Semantic Kernel, ou équivalents propriétaires.
Frameworks d'évaluation RAG : RAGAS, TruLens, DeepEval, Promptfoo, Giskard, Arize Phoenix, ou benchmarks internes.
Pratique de l'orchestration de workflows : génération et test de workflows agentiques (LangGraph, n8n, Make, ou framework maison).
Manipulation d'API LLM : OpenAI, Azure OpenAI, Anthropic, Mistral, Bedrock — gestion du rate limiting, retry, instrumentation.
Git, CI/CD, Docker : intégration des tests aux pipelines, capacité à industrialiser une chaîne de recette.
Notions de MLOps / LLMOps : versioning de prompts, tracking d'expérimentations (MLflow, Weights & Biases, Langfuse), monitoring de production.
Capacité à réaliser des expérimentations techniques (POC de scripts d'évaluation, prototypes de pipelines de recette) en autonomie.

Soft skills

Rigueur et esprit d'analyse poussés — la qualité d'un système RAG se joue dans le détail.
Pragmatisme et capacité à arbitrer entre couverture exhaustive et délais industriels.
Excellentes capacités rédactionnelles (rapports de recette, documentation technique) et de présentation orale.
Curiosité technologique : veille active sur les méthodes d'évaluation des LLM et systèmes agentiques.
Coordination, sens du service et du dialogue avec des interlocuteurs variés (Data Scientists, Devs, Architects, PO, métiers).
Capacité d'initiative, force de proposition sur l'amélioration des process de recette.
Anglais courant impératif pour ce poste (documentation technique, échanges internationaux).

Profil recherché

Expérience confirmée en recette / QA sur des produits data, IA ou applicatifs critiques (idéalement secteur bancaire/assurance)

Maîtrise solide de Python : scripting, automatisation, manipulation de données, librairies de test (pytest, unittest)

Connaissance pratique des composants RAG : parsing (Unstructured, PyMuPDF, LlamaParse), chunking (recursive, semantic, hybride), modèles d'embeddings (OpenAI, Mistral, Cohere, BGE, etc.), bases vectorielles (Pinecone, Weaviate, Qdrant, FAISS, pgvector), reranking

Connaissance des frameworks LLM/Agents : LangChain, LlamaIndex, LangGraph, Semantic Kernel, ou équivalents propriétaires

Connaissance des frameworks d'évaluation RAG : RAGAS, TruLens, DeepEval, Promptfoo, Giskard, Arize Phoenix, ou benchmarks internes

Pratique de l'orchestration de workflows : génération et test de workflows agentiques (LangGraph, n8n, Make, ou framework maison)

Manipulation d'API LLM : OpenAI, Azure OpenAI, Anthropic, Mistral, Bedrock — gestion du rate limiting, retry, instrumentation

Git, CI/CD, Docker : intégration des tests aux pipelines, capacité à industrialiser une chaîne de recette

Notions de MLOps / LLMOps : versioning de prompts, tracking d'expérimentations (MLflow, Weights & Biases, Langfuse), monitoring de production

Capacité à réaliser des expérimentations techniques (POC de scripts d'évaluation, prototypes de pipelines de recette) en autonomie

Rigueur et esprit d'analyse poussés

Pragmatisme et capacité à arbitrer entre couverture exhaustive et délais industriels

Excellentes capacités rédactionnelles et de présentation orale

Curiosité technologique : veille active sur les méthodes d'évaluation des LLM et systèmes agentiques

Coordination, sens du service et du dialogue avec des interlocuteurs variés (Data Scientists, Devs, Architects, PO, métiers)

Capacité d'initiative, force de proposition sur l'amélioration des process de recette

Anglais courant impératif pour ce poste (documentation technique, échanges internationaux)

Soumettre votre candidature

Affinez votre recherche

data architect freelance emplois - paris, a8

Testeur QA IA Gen - Freelance H/F

[FBO] Architecte cloud GCP - Paris - 1478 (IT) / Freelance

[LFR] Architecture Openshift à Guyancourt - 1609 (IT) / Freelance

[FBO] Ingénieur d’Exploitation OPEN / OPS Applicatif Build & Run - Guyancourt - 1566 (IT) / Freelance

Architecte Urbaniste ERP SAP sénior H/F (IT) / Freelance

Architecte SI avec Une maitrise de SAP - Freelance H/F

Expert DataOps / Microsoft Fabric (IT) / Freelance

- Senior Data Engineer – GCP / Cloudera / Spark / Scala / PySpark - Freelance H/F

Expert DataOps / Microsoft Fabric - Freelance H/F

Expert Cybersécurité Cloud AWS (IT) / Freelance

Lead Dev React (H/F) H/F - Freelance

Data Engineer Senior GCP / Big Data (Hadoop - Spark - Java/Scala) - Freelance H/F

[LFR] Ingénierie d'Exploitation Mainframe à Guyancourt - 1569 (IT) / Freelance

Architecte Plateforme IA Senior H/F - Pré-embauche - Freelance

Architecte Cloud Public & Cloud de Confiance (H/F) – Multi-cloud (AWS / Azure / GCP) (Paris ou Lyon) (IT) / Freelance

Tech Lead Full Stack JAVA / REACT (IT) / Freelance

Chef de projet Marketing assurance H/F

Consultant Urbaniste SI â€“ HOPEX H/F

Tech Lead — Squad Data & IA (Java / Spring Boot / Angular / Python) - Freelance H/F

POT9226 - Un Architecte Solution Senior sur Vélizy-Villacoublay. (IT) / Freelance

Je souhaite recevoir la dernière alerte Emploi pour les postes de ce type : data architect freelance (paris, a8)

Related Searches

Description du poste

Missions

Compétences techniques attendues

Soft skills

Outils pour les chercheurs d'emploi

Outils Employeurs

Parcourir

Garder le contact