Objectifs et livrables
Dans le cadre du lancement de notre nouveau projet, nous recherchons une prestation de Data Engineer senior pour concevoir et mettre en ?uvre des pipelines de données dans un environnement serverless exigeant.
Le prestataire Data Engineer senior doit être capable de produire, mais aussi de comprendre les enjeux métier, de cadrer les sujets en amont, de faire les bons choix de conception et de diffuser son savoir-faire au sein de la squad.
Missions principales :
Concevoir et développer des pipelines de données en Python
Implémenter des traitements batch et des orchestrations via Azure Durable Functions
Manipuler des données volumineuses, notamment au format Parquet
Mettre en place des validations de schémas et des contrôles de qualité de données
Assurer l?intégration avec des APIs externes
Participer à la modélisation et à l?optimisation des bases Azure SQL
Mettre en ?uvre l?observabilité de la solution : traces, métriques, logs
Industrialiser les déploiements via CI/CD ? Garantir la qualité et la sécurité du code
Contribuer à l?analyse des besoins et au cadrage des sujets avant implémentation
Porter une réflexion de conception sur les choix techniques, les compromis et la maintenabilité
Utiliser l?IA comme un levier d?ingénierie concret : accélérer l?exécution, explorer des options, challenger des choix, améliorer la qualité et gagner en efficacité, sans déléguer la réflexion ni baisser le niveau d?exigence
Partager ses pratiques, expliciter ses choix et contribuer à la montée en compétence de la squad
Travailler efficacement dans un environnement international, y compris en anglais sur des sujets techniques et de conception
Profil recherché :
Capable de comprendre rapidement les enjeux métier et de les traduire en solutions robustes et pragmatiques
Capable de penser le problème avant de se focaliser sur l?implémentation
Doté d?une vraie expertise d?ingénierie et de conception, au-delà de la seule maîtrise d?un langage, d?un framework ou d?une version spécifique
Capable d?utiliser les outils d?IA de manière avancée, critique et pertinente, et non comme un simple générateur de code
Proactif, précis et honnête sur ses capacités, ses limites et les risques associés à ses choix
Capable de produire de la synthèse utile à la décision
Attiré par l?immersion dans les sujets, le partage, la transmission et le travail transverse
Compétences requises :
Langage :
Python
Cloud :
Expérience des Azure Functions, notamment Durable Functions v2
Capacité à récupérer et exploiter des données depuis différentes sources Azure : Data Lake, Blob Storage, Azure DB
Data processing:
Pandas
Polars
PyArrow
Langues : Bon niveau d?anglais, permettant de participer de manière autonome à des échanges techniques et de conception, à l?écrit comme à l?oral
La valeur attendue réside aussi dans la capacité à comprendre les enjeux, concevoir les bonnes solutions, utiliser l?IA avec discernement, expliciter les choix et faire progresser l?équipe.
Compétences demandées
PYTHON - Expert
POLARS - Confirmé
PYARROW - Confirmé
PANDAS - Confirmé
Fonctions Azure - Expert
Niveau de langue
Anglais - Courant
Profil candidat:Compétences requises :
Langage :
Python
Cloud :
Expérience des Azure Functions, notamment Durable Functions v2
Capacité à récupérer et exploiter des données depuis différentes sources Azure : Data Lake, Blob Storage, Azure DB
Data processing:
Pandas
Polars
PyArrow
Langues : Bon niveau d?anglais, permettant de participer de manière autonome à des échanges techniques et de conception, à l?écrit comme à l?oral
