Vacature functiedomein IT: Lead Data Platform Engineer / Solution Architect (36 u/pw)

In het kort: Je gaat als lead data platform engineer en solution architect het centrale dataplatform ontwerpen, migreren naar Microsoft Fabric, performance en datakwaliteit optimaliseren en het data-engineeringteam technisch aansturen en coachen. Lead Data Platform Engineer / Solution Architect 36 uur per week Het team Het Data Office-team is onderdeel van de afdeling IT Services. Het team ontsluit en verwerkt data uit uiteenlopende databronnen en stelt deze beschikbaar voor analyse- en rapportagedoeleinden. Verder is het team verantwoordelijk voor het ontwikkelen en beheren van CREDO, het centrale data- en analyticsplatform van de organisatie. Het platform is gebaseerd op een lakehouse-architectuur in Azure met een medallion-structuur en Delta Lake. Het team werkt nauw samen met data-analisten, data-stewards en overige stakeholders om ruwe data om te zetten in dataproducten die direct bijdragen aan de bedrijfsdoelen van RET. Binnen de RET Data Community waarborgen we de naleving van best practices, standaarden en architectuurprincipes. We zorgen ervoor dat alle data-oplossingen voldoen aan strikte governance en hoge kwaliteitsnormen, zodat de volledige dataketen optimaal functioneert. Als ervaren Lead Data Platform Engineer / Solution Architect werk je binnen Data Office mee aan de doorontwikkeling en het beheer van CREDO. Momenteel werken we aan diverse dataproducten om aan de behoeften van de business te voldoen, maar ook aan de transitie naar Microsoft Fabric. Op de roadmap voor het komende jaar staan naast het opleveren van data-oplossingen voor de business, het optimaliseren van de performance, het bewaken van de datakwaliteit en het toekomstbestendig maken van het dataplatform. We bevinden ons in een omgeving die bruist van ambitie om veilig, slim en verantwoord te werken volgens een metadata-gedreven methodiek. Onder jouw technische leiding en met jouw expertise bouwen we een schaalbaar en efficiënt dataplatform, waarmee RET kan blijven innoveren en groeien in een datagedreven toekomst. Het profiel Als Lead Data Platform Engineer / Solution Architect speel je een cruciale rol in de transformatie van RET naar een sterk datagedreven organisatie. Wat deze rol echt bijzonder maakt, is de directe impact die jouw werk heeft op de business, zoals de operationele efficiëntie van ons vervoersnetwerk en een toekomstbestendig dataplatform. Je ontwerpt en bewaakt de architectuur van het CREDO-platform: een metadata-driven lakehouse in Azure met een medallion-structuur (bronze, silver en gold). Daarmee maak je het mogelijk om legacy-systemen te migreren en uit te faseren. Je gebruikt hierbij cloud- native oplossingen en geautomatiseerde controles op datakwaliteit. Je werkt nauw samen met de andere data-engineers binnen Data Office in een agile werkomgeving. Daarnaast werk je samen met architecten, data-analisten en andere stakeholders binnen de business units om robuuste oplossingen te realiseren die onze bedrijfsdoelen ondersteunen. Je adviseert over data governance, platformverbeteringen en technische haalbaarheid, je initieert constructieve discussies binnen Data Office, speelt daarin een sleutelrol en deelt actief je kennis met de andere data-engineers. Eindresultaat Je bent verantwoordelijk voor het realiseren van de beoogde solution architectuur van CREDO gebaseerd op Microsoft Fabric. Je begeleidt de overgang van Azure Synapse naar Microsoft Fabric en zorgt ervoor dat tijdens de transitie Synapse en Fabric beheerst naast elkaar kunnen draaien. Je bent verantwoordelijk voor het uitvoeren van de technische roadmap gericht op een betrouwbaar platform dat beheersbaar, onderhoudbaar en toekomstbestendig is met een focus op het optimaliseren van de performance en het bewaken van de datakwaliteit. Je ontwerpt technische oplossingen voor het ontsluiten, verwerken en (dimensioneel) modelleren van gestructureerde en ongestructureerde databronnen en voor de inrichting van CI/CD, security en release management rondom het platform. Je borgt de opgebouwde kennis binnen RET door te zorgen voor documentatie, training, kennisoverdracht en coaching, en je begeleidt de organisatie naar een hoger professioneel niveau op het gebied van data en data-organisatie. De functie Je taken bestaan uit o.a.: – Je bent verantwoordelijk voor de architectuur en de verdere ontwikkeling van het CREDO-dataplatform, met als belangrijkste speerpunt de volledige migratie van Azure Synapse naar Microsoft Fabric. Je voert hiervoor de vastgestelde architectuurroadmap en het solution ontwerp uit. – Ontwerpen, bouwen en onderhouden van het metadata-driven framework, inclusief datamodellen, orchestration en datapipelines, met een focus op performance- en kostenoptimalisatie. – Opzetten en beheren van CI/CD-pipelines en release governance zodat deployments betrouwbaar, traceerbaar en veilig verlopen. – Uitbreiden en bewaken van het data quality framework, met data quality checks tijdens de ETL/ELT-processen om de nauwkeurigheid, betrouwbaarheid en volledigheid van de data te waarborgen. – Structureren en beheren van de SQL-gebaseerde omgevingen. – Borgen van de operationele kwaliteit van het platform: beheer, onderhoud, waarborgen van betrouwbaarheid, kostenoptimalisatie, capaciteitsbeheer en monitoring, en het oplossen van technical debt. – Verankeren van de agile werkwijze en de Azure DevOps-inrichting binnen Data Office, inclusief vaststellen van de quarterly planning, en werken aan de hand van epics, features en user stories. – Adviseren van stakeholders over data governance en technische haalbaarheid, en samenwerken met data-analisten om requirements te vertalen naar technische specificaties voor data-oplossingen. – Bijdragen aan data literacy en self-service analytics voor zowel business- als engineeringteams. – Inbrengen en borgen van je expertise en ervaring binnen het Data Office-team. – Coachen van de andere data-engineers, zowel individueel als in teamverband, naar een hoger niveau, onder andere op het gebied van metadata-driven werken, CI/CD en scrum. Wat heeft RET te bieden? Wij bieden jou de kans om een bijdrage te leveren aan een maatschappelijk relevant thema in een dynamische omgeving. RET is als organisatie volop in ontwikkeling. Je krijgt een zelfstandige en uitdagende functie in een professionele en prettige werkomgeving, met collega’s die zich net als jij inzetten voor optimaal openbaar vervoer, in Rotterdam en omstreken.