Data Engineer Kapitaalmarkten

Als allround  Data Engineer  binnen de afdeling Datagedreven Kapitaalmarkten (DAK) ontwerp, bouw en beheer je betrouwbare datapipelines en datasets voor het toezicht op de kapitaalmarkten. Daarnaast help je onze ontwikkel- en deploymentprocessen en het gebruik van Databricks verder te professionaliseren. Je ontsluit, structureert en prepareert gegevens voor data-analisten, toezichthouders en andere gebruikers. Binnen onze Azure-cloudomgeving werk je met grote hoeveelheden gestructureerde en ongestructureerde data, variërend van miljoenen tot miljarden records.

De gegevens bevinden zich onder meer in Databricks, SQL-databases en Azure Storage. Je ontwikkelt herbruikbare ETL-processen en zorgt dat data vindbaar, controleerbaar en geschikt is voor analyse en toezicht. Je verbetert de ontwikkel- en deploymentprocessen met versiebeheer, geautomatiseerd testen en CI/CD in Azure Dev Ops. Met Declarative Automation Bundles leg je Databricks-code, configuraties en resources vast en deploy je deze gecontroleerd naar verschillende omgevingen.

Hierbij werk je aan herhaalbare en beter beheersbare wijzigingen en deployments. Bij het ontwikkelen van dataoplossingen pas je de geldende kaders voor security, privacy en governance toe. Je draagt bij aan monitoring en kostenbewust gebruik van het Databricks-platform, in samenwerking met de verantwoordelijke platform-, architectuur- en securityspecialisten. Daarnaast ontwikkel je duurzame dataproducten en draag je actief bij aan kennisdeling, innovatie en standaardisatie binnen het team.

Een greep uit je werkzaamheden:

Ontwikkelen en beheren van processen voor data-ingestie, transformatie en verwerking binnen onze Azure-cloudomgeving en op het Databricks-platform met onder andere Databricks Jobs, Azure Data Factory en PySpark/SQL.

Inrichten en verbeteren van geautomatiseerde ontwikkel-, test- en deploymentprocessen met CI/CD in Azure Dev Ops.

Vastleggen en gecontroleerd deployen van Databricks-code, configuraties en resources met Declarative Automation Bundles.

Ontwikkelen en beheren van datapipelines en deploymentprocessen voor machinelearningtoepassingen en bijdragen aan de verdere professionalisering van MLOps binnen het Databricks-platform.

Toepassen van kaders en standaarden voor datakwaliteit, security, privacy en governance, waaronder het gebruik van Unity Catalog.

Monitoren en verbeteren van de werking en betrouwbaarheid van datapipelines en bijdragen aan kostenbewust gebruik van het Databricks-platform.

Actief bijdragen aan architectuurvraagstukken rondom schaalbaarheid, security, data governance en cloudinrichting.

Samenwerken met data-analisten, datamanagementspecialisten en platform engineers om technische en functionele vraagstukken te vertalen naar toekomstbestendige oplossingen.

Signaleren van verbeterkansen en actief bijdragen aan innovatie, standaardisatie en kennisdeling binnen het team.

Afdeling en team
Je maakt deel uit van de afdeling Datagedreven Kapitaalmarkten (DAK), waar we data inzetten om het toezicht op de kapitaalmarkten te versterken. Je werkt in een multidisciplinair team met onder andere data-analisten, datamanagementspecialisten en een integrator. Samen ontwikkelen we betrouwbare datasets, analyses en informatieproducten voor toezichtsvraagstukken. Je werkt daarnaast nauw samen met experts op het gebied van toezicht, financiële markten en technologie.

Binnen de afdeling is er ruimte om je vakinhoudelijk te ontwikkelen, kennis te delen en nieuwe werkwijzen toe te passen. Zo draag je samen met het team bij aan de verdere ontwikkeling van datagedreven toezicht.

Dit vragen we:
WO-werk- en
-denkniveau en minimaal drie jaar relevante werkervaring als Data Engineer of in een vergelijkbare functie binnen een Azure-cloudomgeving.

Data Engineering:
Ruime ervaring met Databricks, PySpark en SQL en met het ontwikkelen en beheren van schaalbare processen voor data-ingestie, transformatie en verwerking.

Azure:
Ervaring met Azure Data Factory, Azure Storage en andere relevante Azure-diensten voor gegevensverwerking.

Dev Ops en automatisering:
Ervaring met Git, Azure Dev Ops en CI/CD en inzicht in het gecontroleerd, herhaalbaar en geautomatiseerd testen en deployen van dataoplossingen.

Databricks-ontwikkeling:
Ervaring met of kennis van Declarative Automation Bundles en Unity Catalog.

MLOps:
Ervaring met het ontwikkelen van datapipelines, herbruikbare componenten of deploymentprocessen voor machinelearningtoepassingen, of de motivatie om je hierin verder te ontwikkelen.

Security en…