Data Engineer

Location: Huis ter Heide

## De opdracht

Achtergrond opdracht

De Koninklijke Marechaussee (KMar) werkt aan de ontwikkeling en ingebruikname van een nieuw dataplatform.

Het huidige dataplatform wordt beheerd door JIVC. Het nieuwe platform komt onder het eigen beheer van de KMar te vallen. Hiermee krijgt de organisatie meer verantwoordelijkheid voor de ontwikkeling, het beheer en de doorontwikkeling van haar dataomgeving.

Om deze transitie te realiseren, wordt de dataorganisatie verder opgebouwd. Binnen deze organisatie zijn onder andere data engineers, datamodelleurs (CDO) en scrummasters actief.

Op korte termijn worden vier data engineers  KMar staat voor een grootschalige transitie van een door JIVC beheerd dataplatform naar een eigen, cloudgebaseerde  migratie van bestaande databronnen vormt de kern van deze operatie. De organisatie werkt met vier datateams, die elk worden versterkt met een data  gewenste afronding van de migratie ligt eind 2027, met een mogelijke doorloop tot eind 2028.Opdracht

De vier gezochte data engineers worden primair ingezet voor de migratie van het bestaande dataplatform naar de nieuwe  belangrijkste opdracht voor de data engineers is het migreren van de bestaande data naar het nieuwe platform.

Dit betreft een omvangrijke migratie waarbij verschillende databronnen en operationele processen betrokken  KMar migreert naar een nieuw dataplatform, genaamd Olympus (naam nog te verifiëren).Het nieuwe platform is gebaseerd op cloudtechnologie, maar wordt binnen het eigen datacenter van de organisatie gehost.

Het nieuwe dataplatform moet de basis vormen voor verdere datagedreven ontwikkeling binnen de KMar.

Huidige omgeving:

- Database:
Microsoft SQL Server.

- Rapportage en dashboards:
Qlik.

- Het huidige dataplatform wordt beheerd binnen JIVC.Nieuwe omgeving:

- Python: wordt gebruikt voor het ontwikkelen van datapipelines.

- S3-objectstorage: voor de opslag van data.

- Cloudtechnologie: toegepast binnen de eigen infrastructuur.

- Open-source LLM's: onderdeel van de technische mogelijkheden.

- CI/CD en Dev Ops: worden toegepast bij ontwikkeling en beheer.

- Qlik: blijft behouden als rapportage- en dashboardtool.

Belangrijkste databronnen en systemen:

Handhaving en incidentregistratie
- Data over handhavingsincidenten.

- Onderzoeksgegevens en gerelateerde registraties.

- Gegevens die vanuit incidentregistraties worden gebruikt voor verder onderzoek.

Summ-IT (te verifiëren)- Systeem voor opsporingsonderzoeken.

- Wordt gebruikt om incidenten en onderzoeken te verwerken.

GPBS
- Gegevens gerelateerd aan personen die zich melden bij grenspassages, waaronder Schiphol.

- Er is een koppeling met ACE voor controles op eventuele signaleringen.

ACE
- Wordt gebruikt voor het controleren of er signaleringen op personen aanwezig zijn.

VBS
- Ondersteunt processen binnen het grensdomein.

- Registratie van grenscontroles en incidenten.

Bedrijfsvoeringsdata
- Interne organisatiegegevens.

- Medewerkersgegevens en aanverwante bedrijfsvoeringsinformatie.

Organisatie en teamstructuur:

- Aantal datateams: 4
- Data engineers: 1 per team
- Scrummasters: 0,5 FTE per team
- Totaal scrummastercapaciteit: 2 FTE
- Werkwijze:
Agile / SAFe
- Ontwikkelmethodiek:
Dev Ops en CI/CDDaarnaast is er een team Datagedreven Werken, dat verantwoordelijk is voor de ontwikkeling van het eigen  organisatie werkt volgens het SAFe-framework. Er heeft inmiddels een gesprek plaatsgevonden met een kandidaat die mogelijk de rol van Release Train Engineer (RTE) gaat vervullen.

Eisen
- Kandidaat heeft aantoonbare ervaring met het bouwen van datapipelines met Python.

- Kandidaat heeft aantoonbare ervaring met datamigraties van een bestaand naar een nieuw dataplatform.

- Kandidaat kan toelichten welke werkzaamheden hij/zij persoonlijk heeft uitgevoerd binnen eerdere datamigraties en hoe dit technisch is gerealiseerd.

- Kandidaat is beschikbaar op maandag op locatie in Huis ter Heide.

Wensen
- Kandidaat heeft minimaal één jaar aantoonbaar datapipelines gebouwd met Python.

- Kandidaat heeft eerder data gemigreerd vanuit een bestaande dataomgeving naar een nieuw dataplatform.

- Kandidaat heeft ervaring met SQL Server.

- Kandidaat heeft ervaring met cloudgebaseerde dataomgevingen.

- Kandidaat heeft ervaring met S3-objectstorage.

- Kandidaat heeft ervaring met CI/CD en Dev Ops.

- Kandidaat heeft ervaring met migratie van databronnen en datastromen.

- Kandidaat heeft ervaring met werken binnen Agile / SAFe-teams.

- Kandidaat heeft ervaring met Qlik.

- Kandidaat heeft kennis van of ervaring met open-source LLM's.

- Kandidaat hoeft niet…