Data Streaming Engineer

Voor Nederlandse Spoorwegen zoeken wij een Data Streaming Engineer.

• Je draagt direct bij aan het verbeteren van de reiservaring van miljoenen mensen door slimme data-oplossingen te ontwikkelen.
• Je werkt in een multidisciplinair, innovatief team (FLUX) dat volop ruimte biedt voor eigen initiatief en ontwikkeling.
• Je stapt in terwijl FLOW wordt opgebouwd en krijgt invloed op de architectuur, deploymentstrategie en operationele inrichting van een realtime prognoseplatform.

Jouw rol
Data vormt een essentieel onderdeel van processen en kent constante dynamiek.
Dagelijks vertrouwen ruim één miljoen reizigers in Nederland op de technologie van de opdrachtgever voor accurate informatie en het faciliteren van het treinverkeer.
Als Data Streaming Engineer werk je binnen het cluster Reizigersstromen in team FLUX, een Advanced Analytics-team dat het realisatiemodel ontwikkelt dat achteraf het aantal reizigers per trein in kaart brengt.
De uitkomsten van dit model vormen de basis voor processen zoals concessie-KPI’s, rapportages aan overheidsinstanties, inzichten in reizigersstromen, drukte op stations en commerciële analyses.
Naast het bestaande FLUX-product werk je mee aan FLOW: een nieuwe applicatie die op basis van realtime datastromen en machine learning reizigersprognoses maakt voor de operatie op dezelfde dag.
FLOW wordt ontwikkeld in een moderne cloudomgeving op Microsoft Azure en Databricks.
Je werkt aan streaming pipelines en event-driven componenten met technologieën zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming.
Belangrijke databronnen zijn onder andere check-in/check-uit transacties, ticketverkoop, dienstregelingen updates en conducteurscontroles.
Met deze data bouw je realtime inzichten en prognoses die helpen bij operationele sturing, monitoring van drukte en het verbeteren van reizigersinformatie.
Je werkt als teamlid met een sterke Data Engineering-, Streaming- of ML Engineering-achtergrond mee aan het opzetten van FLOW.

Jouw verantwoordelijkheden

• Ontwerpen, bouwen en beheren van schaalbare streaming pipelines voor realtime prognoses binnen FLOW.
• Inrichten van event-driven cloudcomponenten, zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming.
• Integreren van machine learning in streaming datastromen, zodat prognosemodellen continu kunnen werken met actuele informatie.
• Ontwikkelen van deploymentstrategieën voor streaming applicaties, met aandacht voor betrouwbaarheid, schaalbaarheid en veilige releases.
• Ontwerpen van replay-mechanismen waarmee historische streaming events gecontroleerd opnieuw kunnen worden afgespeeld bij incidenten, testen of modelverbeteringen.
• Opzetten van streaming operations, monitoring, alerting en observability om een stabiele productieomgeving te garanderen.
• Analyseren van datastromen en operationele metrieken om zwakke plekken in pipelines, modellen en processen snel zichtbaar te maken.
• Samenwerken met data scientists, data engineers, IT en stakeholders om realtime use-cases van idee naar productie te brengen.

Jouw profiel

• Je hebt ruime ervaring met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen.
• Je brengt expertise op het gebied van streaming binnen het team en zorgt voor een solide technisch fundament waarop FLOW kan groeien.
• Je hebt ervaring met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks.
• Je hebt kennis van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git.
• Je hebt ervaring met machine learning in productie en begrijpt hoe ML-modellen kunnen worden toegepast binnen realtime of near-realtime datastromen.
• Je hebt ervaring met deploymentstrategieën voor data- of streamingapplicaties en denkt bewust na over releases, rollback, betrouwbaarheid en schaalbaarheid.
• Je hebt kennis van event replay, fault recovery, monitoring, alerting en operationeel beheer van streaming systemen.
• Je schrijft schone, goed geteste code in Python en PySpark en bent kritisch op details, edge cases en operationele robuustheid.

Over de opdrachtgever
De opdrachtgever combineert diverse ervaringen en persoonlijkheden binnen de afdeling Data, Innovatie & Analyse (DIA) en werkt in multidisciplinaire scrumteams volgens agile-principes.
Zij streven ernaar kwalitatief hoogwaardige en innovatieve dataproducten te leveren die gebruikers snel en betrouwbaar inzicht geven om tot juiste acties te komen door het verzamelen, combineren, analyseren en presenteren van informatie.

Als jij expertise brengt in streaming architecturen, cloudcomponenten en machine learning, kun je met deze rol direct impact maken op realtime prognoses en operationele beslissingen.

Functie-eisen

• Je bent in loondienst en valt onder loonheffing en werknemersverzekeringen (WW, WAO, WIA en ZW); de opdracht is niet geschikt voor zelfstandige ondernemers (zoals zzp'ers), doorleenconstructies of directeur-grootaandeelhouders zonder werknemersverzekering
• Je hebt ruime ervaring met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen
• Je brengt expertise op het gebied van streaming binnen het team en zorgt voor een solide technisch fundament waarop FLOW kan groeien
• Je hebt ervaring met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks
• Je hebt kennis van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git
• Je beschikt over een uitstekende beheersing van de Nederlandse taal, zowel mondeling als schriftelijk

Functie-wensen

• Het is een pre als je ruime ervaring hebt met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen
• Het is een pre als je diepgaande expertise hebt op het gebied van streaming
• Het is een pre als je ervaring hebt met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks
• Het is een pre als je kennis hebt van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git
• Het is een pre als je ervaring hebt met machine learning in productie en begrijpt hoe ML-modellen toegepast kunnen worden binnen realtime of near-realtime datastromen
• Het is een pre als je ervaring hebt met deploymentstrategieën voor data- of streamingapplicaties en bewust nadenkt over releases, rollback, betrouwbaarheid en schaalbaarheid
• Het is een pre als je kennis hebt van event replay, fault recovery, monitoring, alerting en operationeel beheer van streaming systemen
• Het is een pre als je schone, goed geteste code schrijft in Python en PySpark en kritisch bent op details, randgevallen en operationele robuustheid

Extra Informatie

• Aantal uur 36
• ZZP mogelijk? Nee
• Thuiswerken mogelijk? N.t.b.
• Startdatum 01-09-2026