L'organisation exploite une plateforme de données Azure d'entreprise utilisée par plusieurs unités métier pour consolider le reporting et l'analytics opérationnel. Ce poste de Technical Support Engineer vise à faire respecter les standards d'ingénierie et à livrer des pipelines de données robustes au sein de l'écosystème Azure Data, en mettant l'accent sur Azure Synapse et Azure Data Factory (ADF), et est basé à Bruxelles.
La mission
Vous intégrerez la fonction data engineering en charge de l'implémentation de l'entrepôt de données cloud et des couches de transformation de l'organisation. La plateforme utilise Azure Synapse pour le warehousing, ADF et Mapping Data Flow pour l'orchestration et l'ELT, et Databricks avec PySpark pour les transformations plus lourdes. Vos contributions façonnent la manière dont les équipes produisent des pipelines prêts pour la production, garantissent la qualité des données et maintiennent l'ingestion et la transformation performantes et faciles à maintenir.
En tant que référence technique entre les Data Platform Architects et les différentes équipes d'ingénierie, vos activités quotidiennes incluent la validation des pull requests, la traduction de l'architecture en patterns exploitables et l'intervention sur des composants critiques lorsque nécessaire. Vous coacherez les ingénieurs juniors, contribuerez aux standards et aux outils, et prendrez la responsabilité des incidents complexes sur les pipelines ainsi que de l'optimisation des performances au niveau des couches d'ingestion, de transformation et de consommation.
Vos responsabilités
- Piloter les revues techniques et approuver les pull requests pour garantir le respect des standards de data engineering et un code sécurisé et maintenable.
- Transposer l'architecture de la plateforme en patterns d'implémentation concrets pour ADF, MDF, Databricks et Synapse, et documenter ces patterns pour les équipes techniques.
- Concevoir, développer et optimiser des pipelines de données de production en utilisant Azure Synapse, ADF Mapping Data Flow et Databricks PySpark afin d'améliorer la performance et la fiabilité.
- Former et coacher les data engineers juniors, animer des sessions de partage de connaissances et fournir des retours structurés pour améliorer les pratiques de l'équipe.
- Diagnostiquer et résoudre les incidents opérationnels affectant les jobs ETL/ELT, la qualité des données et les performances des requêtes, en collaboration avec les platform architects si nécessaire.
- Contribuer aux décisions de modélisation dimensionnelle, en veillant à l'application des schémas en étoile et des concepts DWH pour des couches de consommation scalables.
Votre profil
Compétences essentielles
- Expérience confirmée de niveau senior dans la mise en œuvre et l'exploitation de pipelines au sein de l'écosystème Azure Data, incluant Azure Synapse, Azure Data Factory (ADF) et Mapping Data Flow (MDF).
- Solide expérience pratique avec Databricks et PySpark pour la logique de transformation et l'optimisation des performances.
- Compétences solides en SQL et expérience pratique de la modélisation dimensionnelle, du design de schéma en étoile et des concepts généraux de DWH.
- Expérience en tant qu'autorité technique : réalisation de revues PR, définition de standards et coaching de plusieurs équipes.
- Esprit analytique et structuré, orienté résolution de problèmes, avec d'excellentes compétences de communication écrite et orale pour interlocuteurs techniques et non techniques.
Compétences souhaitées
- Expérience avec Power BI et la modélisation de données sémantique pour la couche de consommation.
- Bonne connaissance des pratiques CI/CD pour les pipelines de données et des patterns d'infrastructure-as-code appliqués au data engineering.
Langues
- Anglais, C1 (courant)
- Français, C1 (courant)
- Néerlandais, B2 (bon)