Vacature: Sr Data Engineer 36 uur per week (2 FTE)

In het kort: Je gaat als senior data engineer het CREDO-dataplatform doorontwikkelen, datapipelines en datamodellen bouwen en migreren naar Microsoft Fabric, datakwaliteit borgen en collega-engineers coachen in een ambitieuze, datagedreven omgeving. 1 De Rotterdamse Electrische Tram NV is per direct op zoek naar een: Senior Data Engineer 36 uur per week Het betreft een tijdelijke functie voor de duur van zes maanden met een optie op verlenging voor de maximale duur van 2 jaar. De startdatum is z.s.m., maar niet later dan 2-11-2026. Het Team Het Data Office team is onderdeel van de afdeling IT Services. Het team ontsluit en verwerkt data van uiteenlopende databronnen, en stelt deze beschikbaar voor analyse doeleinden. Verder is het team verantwoordelijk voor het ontwikkelen en beheren van CREDO. Dit is het het centrale data- en analyticsplatform van de organisatie. Het platform is gebaseerd op een lakehouse-architectuur in Azure met een medallion-structuur en een Delta Lake. Het team werkt nauw samen met data analisten, data stewards en overige stakeholders om ruwe data om te zetten in dataproducten die direct bijdragen aan de bedrijfsdoelen van de RET. Binnen de Data Community waarborgen we de naleving van best practices, standaarden en architectuurprincipes. We zorgen ervoor dat alle data oplossingen voldoen aan strikte governance en hoge kwaliteitsnormen, zodat de volledige dataketen optimaal functioneert. Als ervaren Data Engineer werk je binnen Data Office mee aan zowel de oplevering van dataproducten als ook de doorontwikkeling en het beheer van CREDO. Momenteel werken we aan de migratie naar Microsoft Fabric. Op de roadmap voor de komende tijd staan onder andere het optimaliseren van performance, bewaken van datakwaliteit, monitoring en kostenbeheersing. We bevinden ons in een omgeving die bruist van ambitie om veilig, slim en verantwoord te werken volgens een metadata gedreven methodiek. Met jouw technische expertise zet je schaalbare en efficiënte datapipelines op, waarmee de RET kan blijven innoveren en groeien in een datagedreven toekomst. Het profiel Als Senior Data Engineer speel je een cruciale rol in de transformatie van RET naar een volledig datagedreven organisatie. Wat deze rol echt bijzonder maakt, is de directe impact die jouw werk heeft op de business, zoals de operationele efficiëntie van ons vervoersnetwerk en een toekomstbestendig dataplatform. Je draagt bij aan het ontwikkelen van datagedreven processen voor de verschillende domeinen zoals assetmanagement, P&O en finance. Je gebruikt hierbij cloud-native oplossingen en geautomatiseerde data quality control mogelijkheden binnen Microsoft Fabric. Je bent verantwoordelijk voor het implementeren en opleveren van oplossingen voor het ontsluiten, verwerken en dimensioneel modelleren van gestructureerde en ongestructureerde databronnen, conform de architectuur en designstandaarden van het Data Office. Je werkt hierbij samen met de andere data engineers binnen het Data Office in een agile werkomgeving. Daarnaast werk je nauw samen met de lead data platform engineer en solution architect, data analisten en andere stakeholders binnen de business 2 units om innovatieve en robuuste oplossingen te realiseren die onze bedrijfsdoelen ondersteunen. Je bent gewend om zelfstandig en zorgvuldig op te leveren in een complexe omgeving, met uiteenlopende bronsystemen, afhankelijkheden en stakeholders. Je brengt je kennis en ervaring in waarmee we het CREDO platform verder kunnen doorontwikkelen met nieuwe functionaliteit en verbeterde performance, je speelt een actieve rol in constructieve discussies binnen Data Office en je deelt actief je kennis met de andere data engineers. Eindresultaat De opdrachtnemer realiseert de verdere ontwikkeling van het operationele CREDO-dataplatform door de implementatie van één of meer overeengekomen roadmaponderdelen, passend binnen de doelarchitectuur en de doorontwikkeling van het platform. Daarnaast omvat het resultaat werkende en gedocumenteerde datapipelines, het opzetten van PySpark-notebooks en het ontwerpen en bouwen van datamodellen, ten behoeve van de ontsluiting en verwerking van gestructureerde en ongestructureerde databronnen. De functie Je taken bestaan uit o.a.: – Bijdragen aan het verder ontwikkelen van het CREDO dataplatform en verantwoordelijk zijn voor de realisatie van een of meer speerpunten op de roadmap. – Implementeren van de migratie van CREDO in Synapse naar Microsoft Fabric, op basis van de intermediate state en target state architecture, waaronder het omzetten van bestaande pipelines, notebooks en datamodellen. – Bouwen en onderhouden van schaalbare datapipelines en PySpark notebooks binnen de medallion-structuur (bronze, silver en gold), met een focus op prestatie- en kostenoptimalisatie. – Implementeren van dimensionele datamodellen en het ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen, ook in complexe bronlandschappen. – Uitvoeren en implementeren van data quality framework en checks op datasets gedurende de ETL/ELT-processen om de nauwkeurigheid en volledigheid te waarborgen, en implementeren van data cleansing processen om bekende datakwaliteitsproblemen op te lossen. – Structureren en managen van SQL datawarehouse met een focus op Azure SQL Database en Fabric Database. – Samenwerken met data analisten om requirements te verzamelen en te vertalen naar technische specificaties voor data-oplossingen. – Implementeren en gebruiken van CI/CD-pijplijnen voor geautomatiseerde build, test en deployment processen, inclusief integratie van quality en security controles. – Analyseren en oplossen van complexe technische problemen, uitvoeren van code reviews en zorgen voor documentatie en monitoring van de opgeleverde oplossingen. – Inbrengen en borgen van je expertise en ervaring binnen het Data Office team. Coachen van andere data engineers om hen zowel individueel als het team naar een hoger plan te trekken. Wat heeft de RET te bieden? Wij bieden jou de kans om een bijdrage te leveren aan een maatschappelijk relevant thema in een dynamische omgeving. RET is als organisatie volop in ontwikkeling. Je krijgt een zelfstandige en uitdagende functie in een professionele en prettige werkomgeving, met collega’s die zich net als jij inzetten voor optimaal openbaar vervoer, in Rotterdam en omstreken.