Data Engineer bij BeFrank

Jouw impact als Data Engineer

Je bouwt de dataoplossingen op het platform. Je werkt in een klein team intensief samen met de overige teamleden. Je hebt daarbij een hoge mate van zelfstandigheid. Daarnaast heb je de vrijheid en verantwoordelijkheid om mee te denken met nieuwe toepassingen die het dataplatform van BeFrank kunnen verrijken. Als Data engineer ben je ook verantwoordelijk voor Quality Assurance en het zo veel mogelijk geautomatiseerd testen van de ontwikkelde oplossingen.

Jouw rol in één zin: schaalbare software-architectuur neerzetten die de ruwe data van BeFrank vanuit verschillende type bronnen transformeert naar data producten die businesswaarde leveren.

In het datateam, dat verder bestaat uit de architect, product owner, data scientists en twee andere data engineers, ben jij een van de drie data engineers. Verder zijn er binnen BeFrank nog vijf andere IT-teams waarmee je vaak in aanraking komt. Bij BeFrank I&T werken wij volgens de Agile Scrum-methodiek.

• Productiewaardige datapipelines schrijven in Python en PySpark volgens de medallion-architectuur (bronze, silver, gold) op Delta Lake.
• Het ontsluiten van data uit verschillende bronsystemen: relationele databases, No
  
  SQL-databases, Blob/S3 storage, REST API s, SFTP-servers, etc.
• Tests schrijven op meerdere niveaus: unit tests, integratietests en BDD-tests voor datatransformaties, en deze integreren in het CI/CD-proces in Azure Dev Ops.
• Datakwaliteitvalidaties ontwerpen en implementeren, zodat dataproblemen vroegtijdig worden gesignaleerd en afgevangen.
• Nauw samenwerken met data- en businessanalisten aan datamodellen en dataproducten die businesswaarde leveren.
• Zelfstandig technische oplossingen ontwerpen en implementeren binnen de software/cloud-architectuur van het dataplatform.
• Actief bijdragen aan het kennisniveau binnen het engineering-team, waarbij je geregeld nieuwe ideeën/tools presenteert en feedback geeft op code van je collega engineers.

Je hebt HBO/WO werk- en denkniveau met relevante werkervaring als data engineer. Je schrijft productiewaardige Python-code — geen notebooks of low-code, maar software met een nette projectstructuur, herbruikbare componenten en foutafhandeling. Je hebt aantoonbare ervaring met het inrichten van een robuust schaalbaar dataplatform met PySpark en Delta Lake, inclusief ervaring met het implementeren van partitionering, schema-evolutie, time travel en merge/upsert-patronen op grootschalige datasets.

Je bent bekend met de medallion-architectuur of vergelijkbare gelaagde dataplatformprincipes. Je hebt ervaring met het aansluiten van uiteenlopende bronsystemen met verschillende type koppelingen. Datakwaliteit is voor jou geen bijzaak: je hebt ervaring met het inrichten van validaties en het borgen van datakwaliteit in het proces. Het schrijven van geautomatiseerde tests en het inrichten van CI/CD-pipelines is voor jou geen onbekend terrein.

Je bent een teamspeler die logische modellen en businessdefinities weet te vertalen naar een gedegen fysiek datamodel. Ervaring met de Azure-datastack (Synapse, Data Factory, Azure Functions) is een pre.

Behalve uitdagend werk binnen een omgeving waar jouw initiatief op prijs wordt gesteld, bieden wij jou een uitstekend arbeidsvoorwaardenpakket, dat bestaat uit:

• Passend salaris o.b.v. 40 uur (Salarisschaal € 4.665 - € 6.665 afhankelijk van je kennis en ervaring)
• Vaste eindejaarsuitkering
• Prestatiebonus
• Internetvergoeding
• NS Business Card, waarmee je ook privé vrij kan reizen, kilometervergoeding of een (elektrische) Swapfiets
• 29 vakantiedagen + 1 persoonlijke feestdag
• Modern premievrij pensioen
• Goede opleidingsmogelijkheden
• Veel vrijheid en verantwoordelijkheid
• Hybride werken vanuit ons duurzaam verbouwde kantoor in Amsterdam

Wij zijn een moderne, online pensioenuitvoerder en bieden bedrijven een collectieve pensioenoplossing. Onze missie is om pensioen weer dichter bij de mens te brengen. Dat doen we door begrijpelijk te communiceren en alles eenvoudig te houden. En door zowel werkgevers als werknemers 24/7 inzicht te geven in hun pensioen via een slimme en duidelijke online…