Annonce – Ingénieur DataOps / Python (Chaîne de production scientifique & maintenance opérationnelle)
Contexte
Nous recherchons un ingénieur DataOps / Python pour assurer la maintenance opérationnelle, l’évolution et la supervision d’un système complet de récupération, traitement et mise à disposition de données scientifiques.
Vous interviendrez au cœur d’une chaîne de production critique, utilisée quotidiennement par des équipes de recherche et des plateformes d’observation scientifique.
Vos missions
Supervision & exploitation
- Assurer la surveillance quotidienne du système d’acquisition et de traitement des données.
- Détecter, diagnostiquer et corriger les anomalies (flux interrompus, données manquantes, erreurs de traitement).
- Garantir la continuité de service et la qualité des données mises à disposition.
Développement & automatisation
- Développer des scripts Python pour l’ingestion, le monitoring, la validation et la transformation des données.
- Mettre en place ou améliorer des outils de visualisation (Streamlit, web).
- Automatiser les tâches récurrentes et optimiser les performances.
Conteneurisation & industrialisation
- Maintenir et faire évoluer les environnements Docker et les pipelines CI/CD.
- Participer à l’industrialisation des applications existantes.
Diffusion & observatoires virtuels
- Intégrer des jeux de données dans des observatoires virtuels via API REST et protocoles standards.
- Contribuer à l’ingestion de données dans un cadriciel OAIS moderne (microservices, API).
Analyse & reporting
- Mettre en place des outils de statistiques d’accès (ElasticSearch/Kibana).
- Produire des rapports réguliers sur l’état du système et la qualité des données.
Compétences techniques recherchées
Indispensables
- Python 3, Bash Linux
- Développement de scripts d’ingestion, monitoring, automatisation
- Docker, Docker Compose
- API REST (FastAPI, Flask)
- PostgreSQL
- GitLab, CI/CD, SonarQube
- Supervision et exploitation de chaînes de production
Bonus appréciés
- ElasticSearch / Kibana
- Streamlit ou équivalent
- Connaissance des formats scientifiques (FITS, HDF5, XML, JSON)
- Expérience en projets spatiaux ou scientifiques
- Notions d’architecture OAIS ou systèmes d’archivage
- Anglais technique
Profil recherché
- Ingénieur DataOps, data engineer ou développeur Python orienté production.
- À l’aise avec les environnements Linux, les pipelines de données et la supervision.
- Capable de travailler en autonomie sur un système critique.
- Rigueur, sens du diagnostic, goût pour les environnements scientifiques.
Pourquoi nous rejoindre ?
- Travailler sur un système de données à fort impact scientifique.
- Participer à la fiabilité d’une chaîne de production utilisée par la communauté recherche.
- Évoluer dans un environnement technique moderne (Docker, API, CI/CD).
- Contribuer à des projets exigeants, stimulants et porteurs de sens.
