Job Description
Description du poste
Au sein de l’équipe Data, vous prenez en charge la conception, l’industrialisation et l’optimisation de pipelines de données sur un environnement Big Data (Hadoop/HDFS, Hive, Spark). Vous garantissez la qualité, la traçabilité et la disponibilité des datasets qui alimentent la BI (Power BI) et les besoins analytiques des métiers.
Responsabilités clés
Ingestion & Modélisation
- Intégrer des données depuis plusieurs SGBD (PostgreSQL, SQL Server, MySQL, IBM DB2) et fichiers via Sqoop/ETL.
- Structurer les zones bronze/silver/gold et définir les schémas (Hive).
Traitements distribués
- Développer et optimiser des jobs Spark / PySpark (partitionnement, broadcast, cache, bucketing).
- Écrire des transformations SQL/HiveQL performantes et maintenables.