TV-ECDAP is bezig met het migreren van alle ETL-processen voor het datalandschap vanuit SAS naar Synapse. Voor elk proces wordt beoordeeld of het nog noodzakelijk is en hoe het overgezet kan worden, eventueel in combinatie met andere processen. Elk proces krijgt een eigen Python-package waarin de benodigde ETL-werkzaamheden in Pyspark zijn opgenomen. De periodieke uitvoering van deze packages zal plaatsvinden in Synapse. De data engineer speelt een cruciale rol in het overzetten van deze processen, wat kan variëren van eenvoudig tot complex, en kan daarnaast bijdragen aan de infrastructuur van het nieuwe datalandschap.
Wij zoeken een ervaren data engineer die verantwoordelijk is voor het ontwikkelen van toegewezen processen volgens de vastgestelde formats. Je moet meedenken over de beste oplossingen in lijn met de functionele wensen van elk proces. Kennis van Python en Pyspark is essentieel, evenals ervaring met ETL-processen en datamigratie. Beschikbaarheid voor een initiële inhuurperiode van 6 maanden met mogelijke verlengingen is vereist. Houd er rekening mee dat screening en onboarding enige tijd kan vergen. De startdatum is 1 september 2025 en de locatie is Spaklerweg 4, 1096 BA Amsterdam, bij De Nederlandsche Bank N.V.