- Ingestion & Intégration des données
Connecter les sources de données (MES, ERP SAP, PLM, capteurs IoT, APIs tierces) vers la plateforme AWS
Concevoir et développer des pipelines d'ingestion temps réel (Kinesis Data Streams, MSK/Kafka) et batch (AWS Glue, Lambda, Step Functions)
Intégrer de nouveaux flux dans l'écosystème data en respectant les standards de qualité et de traçabilité
Gérer les schémas d'import/export et les moteurs de contrôle qualité à l'entrée des données
- Transformation & Enrichissement des données (couche Transformed & Enriched)
Mettre en œuvre une architecture médaillon (Bronze / Silver / Gold) sur Amazon S3
Développer les transformations AWS Glue (PySpark) pour enrichir, nettoyer et réconcilier les données
Garantir la cohérence des modèles de données entre les différentes couches du Lakehouse
Implémenter des règles de qualité des données et monitorer les anomalies
- Construction & Maintenance du Lakehouse AWS
Concevoir et opérer l'architecture Lakehouse : S3 (format Parquet/Iceberg), AWS Glue, Redshift Spectrum / Athena
Administrer et optimiser le data warehouse Redshift (distribution keys, sort keys, WLM)
Mettre en place le catalogage des données via AWS Glue Data Catalog et/ou Apache Atlas
Gérer les politiques d'accès et de sécurité des données (Lake Formation, IAM, chiffrement KMS)
Assurer la performance, la scalabilité et la maîtrise des coûts de l'infrastructure data
Maintenir et enrichir le catalogue de données (métadonnées techniques et métier, lignage, glossaire)
Contribuer à la mise en place des Data Contracts entre les producteurs et consommateurs de données
Performer et faire évoluer les besoins de données avec l'équipe de gouvernance data
Documenter les modèles de données, les flux et les décisions d'architecture
- Accompagnement des clients internes & Animation Data
Recueillir et formaliser les besoins des équipes métier (production, méthodes, direction)
Organiser et animer des ateliers de co-construction de dashboards Power BI et des présentations
Être force de proposition pour standardiser et industrialiser les pratiques data au sein de l'entreprise
Former les utilisateurs à l'exploitation des données et des outils BI
- Industrialisation & Représentation
Rédiger les spécifications fonctionnelles et le plan de recettage des livrables data
Être le référent du service pour la gestion des prestataires (centre de service d'industrialisation)
Contrôler et valider les livrables des sous-traitants
Représenter le service dans les échanges de données entre nos applications et les autres systèmes de la continuité numérique (ERP, PLM, MES, industrie étendue)
