Votre missionDans le cadre du développement de notre plateforme Data, nous recherchons un Data Engineer pour concevoir, développer et maintenir des pipelines de données performants dans un environnement Cloud AWS.
Vous participerez notamment à :
Développer et optimiser les traitements d?ingestion et de transformation de données avec Python, Spark et Databricks.
Mettre en place les flux de données entre différentes sources et le Data Lake.
Orchestrer et superviser les traitements avec Airflow.
Garantir la qualité, la disponibilité et les performances des pipelines.
Assurer le support, la correction des anomalies et l?amélioration continue de la plateforme.
Participer aux choix techniques, aux ateliers projet et à la documentation.
Profil candidat:
Profil recherchéVous justifiez d?une expérience en Data Engineering et appréciez les environnements Cloud et Big Data. Vous êtes autonome, rigoureux(se) et aimez travailler en équipe.
Compétences techniquesObligatoires
Python
Spark
PySpark
Databricks
SQL
AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM)
Git / GitLab CI-CD
Jira & Confluence
Méthodologie Agile Scrum
