Data Engineer Azure Databricks Freelance (Freelance)

📋 Taken en verantwoordelijkheden

Voor een Proof of Concept rond de geautomatiseerde detectie en verklaring van trendwijzigingen in binnenvaarttrafieken wordt een ervaren Data Engineer gezocht.

De organisatie beschikt over gedetailleerde gegevens over goederentrafieken op het waterwegennet. Deze data laten analyses toe van vervoersstromen, herkomst en bestemming, corridors, ladingen en lossingen, tonnages, doorvaarten en andere reiskenmerken. Door verdere digitalisering nemen zowel de beschikbaarheid als de bruikbaarheid van deze gegevens toe.

De opdracht onderzoekt in welke mate technologie relevante evoluties automatisch kan detecteren, mogelijke verklarende parameters kan identificeren en de bewijskracht en onzekerheid van gevonden verbanden transparant kan weergeven. Het gaat niet om een autonoom beslissingssysteem, maar om een ondersteunend analyse-instrument waarbij inhoudelijke validatie noodzakelijk blijft.

Het doel is aan te tonen of deze aanpak technisch, organisatorisch en operationeel haalbaar is binnen de bestaande ICT-context. De verworven inzichten moeten bruikbaar zijn voor beleidsvoorbereiding, corridorwerking, commerciële opvolging en later mogelijk ook voor beleid rond modal shift.

Als Data Engineer werk je mee aan het ontwerpen, bouwen, testen, documenteren en overdraagbaar opleveren van de Proof of Concept. Je verantwoordelijkheden omvatten onder meer:

• ontwikkelen en implementeren van ETL-processen binnen Azure Databricks;
• ontwerpen, opzetten en beheren van lakehouse-architecturen;
• uitwerken van datakwaliteitscontroles, monitoring en logging;
• beschikbaar maken van datasets voor analyses en machine learning in samenwerking met een Data Scientist;
• opzetten van CI/CD-pipelines binnen Azure DevOps;
• ondersteunen van Azure Databricks platform deployment;
• documenteren van oplossingen, deploymentprocedures en onderhoudsaspecten;
• zorgen voor kennisoverdracht van broncode, configuratie en technische documentatie;
• meewerken aan een transparante rapportering van bron, methode, sterkte van verbanden, onzekerheid, beperkingen en reproduceerbaarheid.

Het prototype moet functioneren binnen een goedgekeurde projectomgeving en aansluiten op vereisten rond beveiliging, toegangsbeheer, dataclassificatie, integratie en beheerbaarheid. Naast de functionele werking is ook de latere duurzame inzetbaarheid van de oplossing van belang.

📝 Jouw profiel

• Je hebt aantoonbare ervaring als Data Engineer in meerdere projecten.
• Je hebt sterke kennis van Azure Cloud en het Azure Databricks-platform.
• Je hebt ervaring met Databricks Unity Catalog.
• Je hebt ervaring met databanken zoals Oracle en MS SQL.
• Je hebt ruime ervaring met het ontwerpen en implementeren van Extract, Transform, Load (ETL)-processen.
• Je beheerst programmeertalen zoals Python; kennis van Java is eveneens relevant.
• Je hebt ervaring met het opzetten van CI/CD-pipelines binnen Azure DevOps.
• Je beschikt over aantoonbare kennis van AI/ML.
• Kennis van Datastage en SAS is een meerwaarde.
• Ervaring binnen projecten voor de overheid is een plus.
• Je bent een gedreven teamspeler die tegelijk zelfstandig kan werken.
• De certificatie Databricks Data Engineer Associate is verplicht.
• Azure-certificeringen zijn een pluspunt, met minimaal kennis op het niveau van fundamentals zoals AZ-900 en DP-900.

⚠️ Deze functie wordt aangeboden als een deeltijdse freelance rol (20%).