Wat doet een Data Engineer (Python - PySpark)?
Beschrijving van de functie
Een Data Engineer is verantwoordelijk voor het ontwerpen, ontwikkelen en onderhouden van data-infrastructuren en ETL-processen die bedrijven in staat stellen om datagedreven beslissingen te nemen. Deze professionals spelen een cruciale rol in het omzetten van ruwe gegevens in bruikbare informatie, waarbij ze gebruikmaken van programmeertalen zoals Python en tools zoals PySpark om complexe datastromen te verwerken. In het huidige digitale tijdperk, waar data essentieel is voor bedrijfsstrategieën, zijn data engineers van onschatbare waarde. Ze zorgen voor de efficiëntie en betrouwbaarheid van de gegevensstromen en garanderen dat data toegankelijk en begrijpelijk is voor eindgebruikers.
Typisch salaris
Het salaris voor een Data Engineer, afhankelijk van ervaring en specifieke vaardigheden, varieert doorgaans tussen de € 3.500 en € 6.000 bruto per maand in loondienst. Voor zzp opdrachten in dit vakgebied kan het tarief nog hoger liggen, soms tot € 100 per uur, vooral bij opdrachten overheid of interim werk, waar gespecialiseerde kennis vereist is. Het salarispakket kan ook verschillende voordelen omvatten, zoals bonussen, pensioenregelingen en andere secundaire arbeidsvoorwaarden.
Veelvoorkomende functie taken
De dagelijkse werkzaamheden van een Data Engineer omvatten verschillende taken, zoals het ontwerpen van gegevensmodellen, het ontwikkelen van ETL-processen en het optimaliseren van datastromen. Ze moeten ook samenwerken met datawetenschappers en businessanalisten om ervoor te zorgen dat de data-oplossingen voldoen aan de functionele wensen van de organisatie. Daarnaast zijn ze vaak betrokken bij het onderhouden en verbeteren van bestaande dataplatforms, het waarborgen van data-integriteit en de implementatie van best practices op het gebied van data governance. Het is essentieel om actuele kennis te hebben van de nieuwste technologieën en trends binnen het datalandschap.
Hoe word je specialist in deze functie?
Om een specialist te worden in de rol van Data Engineer, is een afgeronde opleiding in informatica, data-analyse of een gerelateerd vakgebied vaak een vereiste. Daarnaast is het cruciaal om praktische ervaring op te doen door te werken aan zzp opdrachten of interim werk. Het volgen van cursussen en certificeringen op het gebied van data-engineering, big data verwerking, en cloud platforms zoals Azure of AWS kan je concurrentiekracht vergroten. Het opdoen van ervaring met populaire tools zoals Spark, Hadoop of SQL is ook een belangrijke stap. Een combinatie van praktijkervaring, voortdurende educatie en een netwerk in de industrie kan helpen om je verder te specialiseren en op te klimmen naar hogere functies binnen het datateam.
Overzicht: Data Engineer (Python - PySpark)
OPLEIDINGSNIVEAU:
HBO of WO in Informatica of gerelateerd vakgebied
SALARISINDICATIE IN LOONDIENST
€3500 - €6000 per maand
INDICATIE UURTARIEF BIJ ZZP
€70 - €100 per uur
DOORGROEIMOGELIJKHEDEN
Senior Data Engineer, Lead Data Engineer, Data Architect
COMPTENTIES & VAARDIGHEDEN
Python, PySpark, ETL-processen, SQL, Data Governance
GERELATEERDE FUNCTIES
Data Scientist, Business Intelligence Specialist, Database Administrator
Wat doet een Data Engineer (Python - PySpark)?
Beschrijving van de functie
Een Data Engineer is verantwoordelijk voor het ontwerpen, ontwikkelen en onderhouden van data-infrastructuren en ETL-processen die bedrijven in staat stellen om datagedreven beslissingen te nemen. Deze professionals spelen een cruciale rol in het omzetten van ruwe gegevens in bruikbare informatie, waarbij ze gebruikmaken van programmeertalen zoals Python en tools zoals PySpark om complexe datastromen te verwerken. In het huidige digitale tijdperk, waar data essentieel is voor bedrijfsstrategieën, zijn data engineers van onschatbare waarde. Ze zorgen voor de efficiëntie en betrouwbaarheid van de gegevensstromen en garanderen dat data toegankelijk en begrijpelijk is voor eindgebruikers.
Typisch salaris
Het salaris voor een Data Engineer, afhankelijk van ervaring en specifieke vaardigheden, varieert doorgaans tussen de € 3.500 en € 6.000 bruto per maand in loondienst. Voor zzp opdrachten in dit vakgebied kan het tarief nog hoger liggen, soms tot € 100 per uur, vooral bij opdrachten overheid of interim werk, waar gespecialiseerde kennis vereist is. Het salarispakket kan ook verschillende voordelen omvatten, zoals bonussen, pensioenregelingen en andere secundaire arbeidsvoorwaarden.
Veelvoorkomende functie taken
De dagelijkse werkzaamheden van een Data Engineer omvatten verschillende taken, zoals het ontwerpen van gegevensmodellen, het ontwikkelen van ETL-processen en het optimaliseren van datastromen. Ze moeten ook samenwerken met datawetenschappers en businessanalisten om ervoor te zorgen dat de data-oplossingen voldoen aan de functionele wensen van de organisatie. Daarnaast zijn ze vaak betrokken bij het onderhouden en verbeteren van bestaande dataplatforms, het waarborgen van data-integriteit en de implementatie van best practices op het gebied van data governance. Het is essentieel om actuele kennis te hebben van de nieuwste technologieën en trends binnen het datalandschap.
Hoe word je specialist in deze functie?
Om een specialist te worden in de rol van Data Engineer, is een afgeronde opleiding in informatica, data-analyse of een gerelateerd vakgebied vaak een vereiste. Daarnaast is het cruciaal om praktische ervaring op te doen door te werken aan zzp opdrachten of interim werk. Het volgen van cursussen en certificeringen op het gebied van data-engineering, big data verwerking, en cloud platforms zoals Azure of AWS kan je concurrentiekracht vergroten. Het opdoen van ervaring met populaire tools zoals Spark, Hadoop of SQL is ook een belangrijke stap. Een combinatie van praktijkervaring, voortdurende educatie en een netwerk in de industrie kan helpen om je verder te specialiseren en op te klimmen naar hogere functies binnen het datateam.
Overzicht: Data Engineer (Python - PySpark)
OPLEIDINGSNIVEAU:
HBO of WO in Informatica of gerelateerd vakgebied
SALARISINDICATIE IN LOONDIENST
€3500 - €6000 per maand
INDICATIE UURTARIEF BIJ ZZP
€70 - €100 per uur
DOORGROEIMOGELIJKHEDEN
Senior Data Engineer, Lead Data Engineer, Data Architect
COMPTENTIES & VAARDIGHEDEN
Python, PySpark, ETL-processen, SQL, Data Governance
GERELATEERDE FUNCTIES
Data Scientist, Business Intelligence Specialist, Database Administrator
Opdrachtomschrijving
TV-ECDAP is bezig met het migreren van alle ETL-processen voor het datalandschap vanuit SAS naar Synapse. Voor elk proces wordt beoordeeld of het nog noodzakelijk is en hoe het overgezet kan worden, eventueel in combinatie met andere processen. Elk proces krijgt een eigen Python-package waarin de benodigde ETL-werkzaamheden in Pyspark zijn opgenomen. De periodieke uitvoering van deze packages zal plaatsvinden in Synapse. De data engineer speelt een cruciale rol in het overzetten van deze processen, wat kan variëren van eenvoudig tot complex, en kan daarnaast bijdragen aan de infrastructuur van het nieuwe datalandschap.
Vereist profiel
Wij zoeken een ervaren data engineer die verantwoordelijk is voor het ontwikkelen van toegewezen processen volgens de vastgestelde formats. Je moet meedenken over de beste oplossingen in lijn met de functionele wensen van elk proces. Kennis van Python en Pyspark is essentieel, evenals ervaring met ETL-processen en datamigratie. Beschikbaarheid voor een initiële inhuurperiode van 6 maanden met mogelijke verlengingen is vereist. Houd er rekening mee dat screening en onboarding enige tijd kan vergen. De startdatum is 1 september 2025 en de locatie is Spaklerweg 4, 1096 BA Amsterdam, bij De Nederlandsche Bank N.V.
Eisen
- De kandidaat is minimaal 32 uur per week beschikbaar.
- De kandidaat is beschikbaar vanaf 1-9-2025 (of (indien beide Partijen daarmee akkoord gaan) zoveel eerder als dat de screening en administratieve handelingen afgerond zijn) tot en met 1-3-2026
- Inschrijver garandeert dat de aangeboden kandidaat beschikbaar blijft voor eventuele verlengingen van de opdracht met maximaal 12 maanden totaal (en zoals uitgewerkt in paragraaf 2.2 van de standaardvoorwaarden). DNB zal opdrachtnemer uiterlijk 4 weken vóór het invullen van opties hiervan in kennis stellen.
- Verloven dienen te allen tijde in overleg met DNB te zijn afgestemd en vooraf door DNB te worden goedgekeurd.
- De werkzaamheden worden uitgevoerd ten kantore van DNB (tenzij de manager bepaalt dat thuiswerken ook is toegestaan), en altijd in de virtuele omgeving en op laptops van DNB.
- De kandidaat is beschikbaar voor een gesprek via Teams tussen 8 en 15 juli
- De kandidaat beschikt over minimaal 3 jaar ervaring met ontwikkeling in Python: het maken van Python-packages inclusief Pytests. De ervaring van de kandidaat dient duidelijk uit het ingediende CV te blijken.
- De kandidaat beschikt over minimaal 3 jaar ervaring met ontwikkeling in Pyspark De ervaring van de kandidaat dient duidelijk uit het ingediende CV te blijken.
- De kandidaat beschikt over minimaal 2 jaar ervaring met Azure De ervaring van de kandidaat dient duidelijk uit het ingediende CV te blijken.
- De kandidaat beschikt over tenminste werk- en denkniveau.
- De kandidaat beschikt over uitstekende schriftelijke en mondelinge vaardigheden in de Nederlandse en Engelse taal.
- De kandidaat beschikt over de volgende competenties: Oplossingsgericht Analytisch Innovatief Leergierig Teamspeler
Wensen
- De kandidaat is 36 uur per week beschikbaar.
- De kandidaat is beschikbaar vanaf 1-8-2025 (of (indien beide Partijen daarmee akkoord gaan) zoveel eerder als dat de screening en administratieve handelingen afgerond zijn) 1-2-2026
- De kandidaat heeft ervaring met Synapse De ervaring van de kandidaat dient duidelijk uit het ingediende CV te blijken.
- De kandidaat heeft ervaring en kennis van DevOps De ervaring van de kandidaat dient duidelijk uit het ingediende CV te blijken.
- De kandidaat heeft ervaring met SQL De ervaring van de kandidaat dient duidelijk uit het ingediende CV te blijken.
- De kandidaat heeft ervaring met Fabric en/of Databricks De ervaring van de kandidaat dient duidelijk uit het ingediende CV te blijken.
Reageer direct!
