Prestation à temps plein de Data Engineer Senior Scala/Spark. Intervention en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes.
Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’ops, architectes et encadrés par un chef de projet.
Le projet concerne une migration technologique d’un décisionnel RH, avec une bascule technologique d’IBM vers Databricks.
- Réaliser les livrables liés aux User Stories (US) dans un cadre agile, avec découpage par sprints de 2 semaines environ
- Développement des US et tests associés
- Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation
- Mise en place du CI/CD sur l’usine logicielle
- Mise en place du monitoring
Compétences requises :
- Maîtrise de l'API Scala Spark (batch principalement)
- Maîtrise des techniques d'optimisation Spark
- Expérience dans le traitement de volumétries importantes / complexes
- Développement et bonnes pratiques Scala, build Maven
- Travail en environnement cloud (idéalement Azure) et écosystème Databricks
Compétences souhaitées :
- Connaissance du SI d’une grande entreprise ferroviaire française
- Connaissance des outils Datadog, Rundeck
- Maîtrise de l'API Scala Spark (batch principalement)
- Maîtrise des techniques d'optimisation Spark
- Expérience dans le traitement de volumétries importantes / complexes
- Développement et bonnes pratiques Scala, build Maven
- Travail en environnement cloud (idéalement Azure) et écosystème Databricks
- Connaissance du SI SNCF (souhaitée)
- Connaissance des outils Datadog, Rundeck (souhaitée)
