Contexte du besoin
L?équipe ?Socles Data? de la Direction Technique Informatique s?occupe de gérer les socles techniques DATA du système d?information. Ceux?ci répondent aux besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d?exploration de données, de Data science, etc. Les missions de l?équipe se traduisent par la fourniture d?outils logiciels Data industrialisés et exploitables, la rédaction de dossiers d?architecture, de normes et bonnes pratiques, la réalisation d?études, la recherche et la qualification de nouveaux outils, mais également l?administration et le maintien en conditions opérationnelles des socles DATA.
Objet de la prestation
Le présent marché spécifique a pour objet la recherche d'une prestation d'expertise technique Big Data / Hadoop de technologie Cloudera, pour renforcer l'équipe 'Socle DATA'.
Localisation : Gradignan
Description du besoin :
La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d?évolution technique de ces socles.
Activités principales :
Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ;
Capacity planning : suivi et mise en place d?outils et procédures ;
Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ;
Rédaction de procédures d'administration et d?exploitation ;
Intégration avec l'outillage de l'écosysteme DSI Agirc-Arrco pour l'exploitation du SI
Support expertise aux équipes Etudes et exploitation
Projets d?évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l?existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d?architecture et la rédaction des dossiers, la mise en ?uvre.
Hadoop est le périmètre technique principal d?exécution de la mission ; cependant des compétences supplémentaires sur d?autres solutions Data seront très appréciées.
La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication.
Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées.
Reporting hebdomadaire
Tableau de bord Mensuel de suivi d'activités
Documentations techniques: Normes, principes, dossier d?architecture, dossier d?administration, dossier d?exploitation, modes opératoires
Transferts de connaissances : organisation de session de transferts de connaissances et rédaction de supports.
Gestion demandes: Tickets incidents / demandes / changements dûment complétés
Contribuer à la continuité de services au sein de l'équipe
Environnement Socle Hadoop :
Distribution Hadoop Cloudera CDP (version 7.1.9, 7.3.x ) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg ...
Langages de scripting et de developpement : Shell, Python, Spark
Moteurs de requêtage : Hive, Impala, SQL, ...
Systeme d'exploitation : Linux Redhat
Environnement Décisionnel:
Teradata, ETL Datastage , PowerBI, SAS
Autres environnements techniques:
Base de données : PostgreSQL
Data Streaming : Kafka, IBM Infosphere CdC
Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware
Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana,
