Contexte de la mission
Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire)
Une experience de flux réalisés sur Databricks/Azure serait un plus important.
Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française
ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI
Objectifs et livrables
Objectifs et livrables
Activités principales
Développement et intégration
Développer et maintenir des pipelines de données sur l?infrastructure existante (batch, streaming, API)
Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala)
Assurer l?intégration et la gestion de flux de données via Kafka et HDFS
Exploiter et administrer des bases de données NoSQL (Cassandra)
Gestion du run (rôle tournant)
Surveiller la performance et la scalabilité des processus
Prendre en charge la résolution des incidents et l?amélioration continue en production
Escalader auprès des sachants les anomalies critiques
Communiquer les incidents aux parties prenantes le cas échéant.
Relation métier et vulgarisation
Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées
Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l?équipe et les parties prenantes
Profil recherché
Formation : Bac+5 en informatique, data engineering ou équivalent
Expérience : Minimum 3 ans sur un poste similaire
Compétences techniques requises
Maîtrise du développement Spark (Scala)
Bonne connaissance de l?écosystème Big Data : HDFS, Kafka, Cassandra
Expérience sur des architectures batch, streaming et API
Pratique du versioning (git) et des outils d?intégration continue
Bonus : experience en env Databricks/Azure
Compétences complémentaires (atouts)
Databricks
Expérience sur Airflow
Expérience sur des environnements cloud (Azure)
Développement Node.js
Pratique de la CI/CD et des outils de monitoring
Savoir-être
Esprit d?équipe, sens du service et de la communication
Capacité à vulgariser et à transmettre ses connaissances
Capacité d?analyse
Autonomie, rigueur et sens de l?organisation
