Data Engineer Zuid-Holland

In het kort: Je gaat datapipelines en datamodellen ontwikkelen en optimaliseren in Azure en Databricks, een data-catalogus opzetten, ETL-processen professionaliseren en collega’s ondersteunen bij datagedreven werken en de doorontwikkeling van het data- en analyseplatform. De Directie Informatievoorziening (IV) heeft de ambitie om data integraal beschikbaar te maken en inzicht te creeëren binnen de Ministeries EZK en LVVN. In deze aanvraag ligt de focus op de beleidsdirecties bij EZK om het bestaande data en analyse platform (DADEL) door te ontwikkelen naar een duurzame oplossing met toegankelijke data en beschikbare dataproducten. Dit doe je vanuit team Dataservices bij IV in samenwerking met de beleidsdirecties zelf. Als data engineer zorg je ervoor dat data wordt ontsloten en bruikbaar is voor analyses op het platform van het cluster Data, Kennis & Monitoring (DKM) en de directie IV. Je doet dit binnen Microsoft Azure en Azure Databricks. Daarnaast kijk en bouw je mee aan de datamodellen die nodig zijn voor de analyses en denkt mee met de data platform adviseur over de doorontwikkeling van het platform. Doelstellingen: – Je ontwikkelt, onderhoudt en optimaliseert datapipelines voor specifieke informatieproducten. Hiervoor wordt het Databricks platform gebruikt – Je bouwt datamodellen die relevant zijn voor de datavraagstukken van collega’s en zorgt voor de invulling van een professionele strategie hierop – Je werkt mee aan het opzetten van een doorzoekbare data-catalogus voor de kerndepartementen – Je denkt kritisch mee aan de verdere doorontwikkeling van het Databricks platform en komt zelf met slimme ideeën voor verbeterslagen d.m.v. het volgen van de meest recente ontwikkelingen van innovatieve en moderne tools, technieken en architectuur voor data-ontwikkeling en beheer – Je werkt nauw samen met datagebruikers, datascientists e.a. op in de hiervoor genoemde technieken, zodat ze in staat zijn om de data die ze nodig hebben te integreren en te gebruiken – Je stimuleert datagedreven werken binnen de kerndepartementen en helpt collega’s om deze werkwijze eigen te maken – Je professionaliseert de bestaande ETL en beschrijft best-practices en werkwijzen – Je bent een sparringspartner op architectuurvraagstukken Achtergrond De Directie IV ondersteunt de EZK en LVVN-medewerkers bij het uitvoeren van hun werkzaamheden en biedt daarvoor noodzakelijke diensten en voorzieningen op gebieden als informatiemanagement, beheer(sing) van formatie & budgetten en ondersteuning bij projecten, programma’s en (implementatie)processen. De Directie IV werkt voor EZK én LVVN met de nadruk op de kerndepartementen van deze organisaties. Buiten bedoelde kerndepartementen volgt De Directie IV de leidraad ‘centraal wat moet, decentraal wat kan’. De Directie IV stelt haar klanten centraal en stemt de diensten en voorzieningen daarop af. Het aanbieden en uitvoeren van haar diensten en voorzieningen doet De Directie IV zo efficiënt en transparant mogelijk. De Directie IV wil de medewerkers en de organisaties van EZK en LVVN maximaal toerusten om de maatschappelijke opgaven van EZK en LVVN ook echt te realiseren. Bij het team dataservices is de centrale uitvoeringsrol belegd om de kerndepartementen vooruit te helpen in de transitie naar datagedreven werken. Voor deze functie ben je de helft van de tijd beschikbaar voor het team Dataservices en de andere helft voor het cluster Data, Kennis & Monitoring (DKM) van de directie Strategie Energiesysteem bij EZK. DKM is binnen de kerndepartementen een voorloper in het implementeren van het DADEL platform en gebruikt deze ter ondersteuning van het schrijven van datagedreven beleid voor de energietransitie. Daarnaast houdt het cluster zich actief bezig met het samenbrengen van de decentrale ontwikkelingen van het DADEL platform.