Een grote Belgische verzekeringsgroep moderniseert haar verouderde Azure SQL en Data Vault-platform naar een beheerde Lakehouse gebouwd op Databricks, Delta Lake en ADLS. Deze hands-on rol versnelt de adoptie van Databricks door het implementeren van PySpark/Spark-pipelines, Unity Catalog-governance en Databricks Workflows om legacy batchprocessen te vervangen en rapportering met Power BI mogelijk te maken.
De missie
De organisatie voert een Lakehouse-migratie uit om on-premise Azure SQL Server en Data Vault-modellen te vervangen door een schaalbare Delta Lake-architectuur op Azure Data Lake Storage. Het platformwerk richt zich op Databricks Workspace, Delta Tables, Unity Catalog en orkestratie via Azure Data Factory, met aandacht voor performance-tuning en kostenbeheersing over cluster pool- en serverless-opties. Het beoogde resultaat is een productieklare omgeving die analytics en rapportering op ondernemingsschaal ondersteunt.
Dagelijks zal je optreden als senior hands-on Databricks engineer en technology lead eerder dan als puur architect. Je ontwerpt en bouwt ingestie- en transformatieframeworks met notebooks, Databricks Workflows en Delta-patterns, leidt de migratie van bestaande Data Vault-modellen naar medallion-structuren (Bronze/Silver/Gold) in Delta, en coacht engineeringteams rond CI/CD en deploymentpraktijken voor Databricks-assets. Vroege werkzaamheden omvatten afstemming met de data architect, het vastleggen van engineeringstandaarden, het mogelijk maken van Unity Catalog-governance en het opleveren van herbruikbare pipelinetemplates voor ingestie en transformatie.
Uw verantwoordelijkheden
- Leidt en levert Databricks-implementaties in productie, en ontwikkelt herbruikbare ingestie- en transformatieframeworks die de doorlooptijd naar productie verkorten.
- Optimaliseert Spark/PySpark-jobs en Databricks-configuraties voor performance en kosten, door cluster pool- en serverless-strategieën toe te passen.
- Migreert legacy SQL/Data Vault-datasets naar Delta Lake-modellen, waarbij businesslogica wordt vertaald naar efficiënte medallion-patterns.
- Implementeert CI/CD- en deploymentpipelines voor Databricks-notebooks, jobs en Unity Catalog artifacts om herhaalbare releases te garanderen.
- Coacht en begeleidt interne engineers in Databricks best practices, governance en observability om het team naar een hoger maturiteitsniveau te brengen.
- Integreert Databricks-output met enterprise reporting tools, ondersteunt Power BI-consumptie en voert query performance tuning uit.
Uw profiel
Essentiële vaardigheden
- Aantoonbare praktijkervaring met Databricks-implementaties in enterprise-omgevingen, met end-to-end pipelines.
- Sterke hands-on expertise met Databricks Workspace, Spark / PySpark en SQL voor data engineering workloads.
- Diepgaande kennis van Delta Lake / Delta Tables, Unity Catalog en Databricks Workflows.
- Praktische ervaring met Azure Data Lake Storage (ADLS) en Azure Data Factory (ADF) voor orkestratie.
- Aantoonbaar vermogen om performance te optimaliseren en Databricks kosten/pricing trade-offs te beheren.
- Ervaring met het migreren van legacy-platformen naar moderne cloud data platforms en met het definiëren van engineering best practices.
Gewenste vaardigheden
- Infrastructure as Code-ervaring (Terraform, Bicep of ARM) en DevOps-pipelines (Azure DevOps of GitHub Actions).
- Ervaring met streaming- of event-driven-architecturen en Data Vault-migratiescenario's.
- Bekendheid met Power BI-integratiepatronen.
Talen
- Engels, C1
- Nederlands, B2
- Frans, B2