Une grande organisation du secteur public exploite une plateforme d'entreprise de données qui consolide les informations relatives aux polices, aux sinistres et aux opérations. Le poste a pour vocation d'apporter un leadership technique aux équipes de data engineering, en combinant du développement pratique de pipelines sur Azure Synapse, Azure Data Factory et Databricks avec l'alignement architectural et l'application des standards pour l'ensemble de la plateforme à Bruxelles. Vous concevrez et optimiserez des pipelines de données dans l'écosystème Azure, en utilisant PySpark et SQL, et vous serez la référence technique principale entre les ingénieurs et les architectes.
La mission
L'organisation migre et fait mûrir son enterprise data warehouse et ses couches analytiques sur Azure, avec l'ingestion et la transformation implémentées dans Azure Data Factory (y compris Mapping Data Flow), Azure Synapse et Databricks. Le travail couvre des ensembles de données structurées liées à l'assurance et aux opérations, des ETL de production qui alimentent les consommateurs reporting et BI, et un objectif d'amélioration des performances, de la qualité des données et de la fiabilité opérationnelle de la plateforme.
Dans ce rôle de Technical Lead, vous partagerez votre temps entre la livraison concrète et l'accompagnement technique. Au quotidien, vous examinerez et validerez des pull requests, implémenterez ou optimiserez des jobs PySpark sur Databricks, traduirez l'architecture de la plateforme en standards d'ingénierie concrets, et coacherez plusieurs squads de data engineering. Votre travail alimente directement le DWH et les couches sémantiques utilisées par les rapports Power BI et les équipes d'analytics en aval.
Vos responsabilités
- Lead et faire respecter les standards techniques au sein des équipes de data engineering, en garantissant l'alignement architectural avec les architectes de la plateforme de données
- Livrer et optimiser des pipelines de données de production, en améliorant le débit, la latence et la stabilité opérationnelle avec Azure Synapse, ADF et Databricks
- Revoir le code et les pull requests, fournir des retours exploitables et élever la qualité d'ingénierie via la revue par les pairs et des contrôles automatisés
- Traduire les orientations architecturales en patterns implémentables pour les couches d'ingestion, de transformation et de consommation
- Coacher et mentoriser des data engineers juniors et intermédiaires, animer des sessions de transfert de connaissances et élaborer le matériel d'onboarding
- Piloter l'optimisation des performances, les initiatives de qualité des données et l'analyse des causes racines des incidents pour réduire la récurrence des événements opérationnels
Votre profil
Compétences essentielles
- Expérience confirmée en tant que senior dans la conception, le développement et l'optimisation de pipelines de données au sein de l'écosystème Azure, incluant Azure Synapse, Azure Data Factory (ADF) et Mapping Data Flow (MDF)
- Expérience pratique de développement sur Databricks avec PySpark, ainsi que solides compétences en SQL pour la transformation et le dépannage
- Connaissance opérationnelle du modélisation dimensionnelle et des concepts d'entrepôt de données, incluant la conception en star schema et les dimensions conformes
- Capacité démontrée à agir en tant que technical lead : revues de code, traduction architecturale et coordination inter-équipes
- Excellent communicant capable de présenter des décisions techniques à des interlocuteurs non techniques et de coacher des équipes d'ingénierie
Compétences souhaitées
- Expérience avec Power BI et la modélisation sémantique des données pour les couches de consommation
Langues
- Anglais, niveau CEFR C1 ou supérieur
- Français, niveau CEFR C1 ou supérieur
- Néerlandais, niveau CEFR B2