Je recherche unvData Platform Engineer ? DataOps / SRE (orienté Databricks & Dataiku) une prestation d?accompagnement dans l?objectif de garantir la fiabilité, la performance et l?industrialisation des solutions data au sein de l?équipe OPS (ITOps / SRE).
Au-delà de la gestion des pipelines, le profil intervient en amont sur la conception et le déploiement d?architectures data complètes, de la définition des choix techniques avec les équipes Dev/Archi/Sécurité/Cloud ? à la mise en production jusqu?à assurer le fonctionnement optimal des plateformes en production.
Intégrer une équipe IT Ops pour assurer le déploiement et l?architecture Data autour des solutions Databricks & Dataiku. Le rôle consiste à garantir la stabilité, la performance et la sécurité des environnements, en collaboration avec les équipes techniques et métiers de la direction Data & IA
Responsabilités principales :
Administrer les environnements Databricks et Dataiku?: gestion des clusters, sécurité et gouvernance (Databricks Azure, Dataiku on prem)
Déployer et maintenir les pipelines de données (ETL/ELT) en production (MCO)
Automatiser le déploiement et la configuration IaC
Administrer des environnements Airflow, Starburst ?
Assurer la fiabilité, l?intégrité et la qualité de la plateforme en production.
Définir et suivre les SLO/SLI ; rétablir le service en cas d?incident.
Participer à la conception d?architectures data end-to-end (ingestion, stockage, transformation, exposition) et anticiper les impacts sur la production.
Compétences clés :
Techniques :
Linux (RHEL), Docker, Kubernetes / OpenShift
Databricks, Dataiku (connaissances avancées)
Airflow, Starburst, Domino AI (un plus)
Automatisation & IaC Git, Ansible, Terraform, Helm, DigitalAI, ArgoCD
Scripting : Python, SQL, Shell, YAML
Observabilité & Monitoring: ELK, SysDig, Dynatrace, Grafana
Cloud : IBM Cloud (Cloud Principal), Azure (pour la solution Databricks)
Métier & Soft skills :
Analyse, diagnostic, résolution de problèmes et définir des indicateurs pertinents (SLI/SLO)
Orientation fiabilité, performance et expérience utilisateur
Autonomie, sens des priorités et proactivité
Capacité à anticiper les besoins futurs en matière de Data & AI et à proposer des solutions innovantes pour améliorer la fiabilité et la performance des services.
Profil recherché :
Expérience en DataOps, DevOps/IAOps/Architecture Data ou exploitation en production.
Maîtrise opérationnelle de Databricks et Dataiku sur des projets réels en production
Communication fluide et maitrise de l?anglais obligatoire pour un usage quotidien
Conception et mise en ?uvre des architectures de production pour les nouveaux projets
Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour sur l'intégralité de la plateforme
Design et implémentation de scripts pour les besoins du DEV, en support des ingénieurs OPS affectés aux projets Agiles
Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning) ;
Pilotage de la mise à niveau des infrastructures et gestion des impacts
Mise en oeuvre des bonnes pratiques DevOps et intégration continue Installation, configuration et divers paramétrages
Alimentation du backlog des Services de production ( CI/CD, Continuous Operation, Time2fix,...) en complément des informations collectées auprès des Ingénieurs OPS
Connaître les environnements de Production et Containers
Apport d?expertise autours de la pratique DEVOPS
Connaissance de l'intégration Continue
Connaissance des Infrastructures/ serveurs / OS/Base De Donnée /Flux/firewall
Connaissance en infrastructure Cloud (IaaS, PaaS) privé ou public
Maîtrise de l?ordonnancement (Schedulers)
Connaissance des pratiques Agile et DevOps
Connaissance de l'intégration Continue (Continuous Integration) : Outil de gestion de versions, Référentiel du code source (GitLab, Bit bucket,..), référentiel binaires (Nexus, Artifactory?), orchestration (Jenkins, ?).
Connaissance de la Livraison Continue (Continuous Delivery) : gestion de configuration d?environnement, déploiement, Infrastucture as code (Ansible, Puppet, Chef)
Connaissance des processus et Outils du Time2fix et Time2repair
Profil candidat:Profil recherché :
Expérience en DataOps, DevOps/IAOps/Architecture Data ou exploitation en production.
Maîtrise opérationnelle de Databricks et Dataiku sur des projets réels en production
Communication fluide et maitrise de l?anglais obligatoire pour un usage quotidien
Conception et mise en ?uvre des architectures de production pour les nouveaux projets
Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour sur l'intégralité de la plateforme
Design et implémentation de scripts pour les besoins du DEV, en support des ingénieurs OPS affectés aux projets Agiles
Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning) ;
Pilotage de la mise à niveau des infrastructures et gestion des impacts
Mise en oeuvre des bonnes pratiques DevOps et intégration continue Installation, configuration et divers paramétrages
Alimentation du backlog des Services de production ( CI/CD, Continuous Operation, Time2fix,...) en complément des informations collectées auprès des Ingénieurs OPS
