Je cherche pour un de mes client un Expert migration et production Cloudera / Databricks
Nombre de poste : 1
Expérience : 7 ans minimum
Localisation : Paris
Nombre de jours de Télétravail : 2
Démarrage : Asap
Durée mission : 1 an minimum
Contexte :
Le projet Data Lake était initialement porté par la Branche Grand Public et Numérique (BGPN) .
Dans le cadre de l?évolution de sa plateforme Data vers Azure (projet Data Cloud) l?équipe Data Cloud et IA Factory (DIAF) arrive à une étape clé de ce projet structurant pour l?ensemble :
? Mise en production et ouverture aux utilisateur de la version 1.0 de Data Cloud (Azure Darabricks)
? Stabilisation d?ODLG (Cloudera)
? Migration progressive d?ODLG vers la nouvelle plateforme Data Cloud
? Accompagnement des branches sur la décroissance et l?optimisation des consommations Azure
? Rapprochement vers une gouvernance i-TEAM
? Intégration dans les processus de supervision et de support i-TEAM
? Réflexion sur la mise en ?uvre d?un nouveau Catalogue de Services
? Accompagnement et soutien de l?équipe dans cette transformation
La mission consiste à intégrer l?équipe DIAF sur un rôle transverse pour apporter un support dans les processus de stabilisation et de migration. Ce rôle nécessite donc aussi bien une connaissance technique qu?une compréhension des modèles de données et des processus de migration.
La prestation inclue :
? Analyse des résultats l?audit Cloudera et accompagnement de l?équipe dans le suivi du plan de remédiation
? Renfort des actions liées à AIG
? Soutien aux équipes socle Data Cloud et ODLG
? Soutien aux équipes Outils & Usages
? Analyse et optimisation des ressources sur Cloudera et Data Cloud
? Accompagnement des plans de migrations et optimisation
1. Gestion des obsolescences
Le prestataire devra s?assurer de la maintenabilité des versions liées au support des éditeurs ou de l'image middleware PaaS/IaaS proposée :
Gestion de l'obsolescence des socles et images ()
2. Livrables / Résultats attendus
? Suivi évaluation et CR des activités liées à l?audit Cloudera
? Analyse et plan de mitigation des "requêtes lourdes" Cloudera
? Proposition d?optimisations des séquences des job avec plan de mise en ?uvre et suivi des actions
? Suivi et reporting décroissance et décommissionnement ODLG
? Bonnes pratiques de migration on-remise - > cloud
3. Cadre technique de la prestation : environnements techniques, outils et niveaux de maîtrise souhaités.
Niveaux de compétences attendus :
0 : pas de connaissance
1 : connaissance de base
2 : pratique quotidienne
3 : expertise avérée.
Jira 3
Cloudera 3
Azure 3
Databricks 3
Redhat 3
GitLab 3
Terraform 3
Pyhton 3
Dremio 3
4. Cadre fonctionnel de la prestation
La réalisation des prestations requiert les compétences approfondies dans les domaines fonctionnels ci-dessous.
Data model 3
Data Management 3
Data Viz 2
Sys admin 3
Data migration 3
Profil candidat:
Expert Cloudera / Hadoop / Big Data
Solide expérience Azure Databricks & Spark
Expérience confirmée en migration Data Lake vers Cloud
Maîtrise Python, Terraform, GitLab, Linux RedHat
Bonne connaissance Data Management, Data Modeling et Data Platform
Capacité à travailler en transverse avec des équipes techniques et métiers
