Elastic Data Engineer (Apache Kafka) (K10028

De Federale Politie staat voor een ambitieuze digitale en organisatorische transformatie. Binnen het Digital Transformation Office (DTO) bouwen we mee aan modernere processen, sterkere operationele ondersteuning en meer datagedreven dienstverlening. Vanuit de pijlers IT, innovatie en intelligence/data werken we aan stabiele fundamenten, toekomstgerichte technologieën en betere ondersteuning van de diensten op het terrein. Wil jij mee impact maken in een omgeving waar digitalisering, legacy-modernisering en maatschappelijke relevantie samenkomen?

De opdracht bestaat erin een event-driven data-architectuur op te zetten en te beheren waarbij Apache Kafka wordt ingezet als buffer- en verwerkingslaag, en Elasticsearch als datalake-oplossing voor gestructureerde en ongestructureerde data.

De focus ligt op het opzetten van performante Kafka- en Elastic-stacks (schema management, topicbeheer, indexingstrategieën) en het waarborgen van data-consistentie, schaalbaarheid en observability doorheen het volledige traject van data-ingestie tot data-consumptie.

De kandidaat ontwerpt, implementeert en documenteert de nodige componenten, stelt de data beschikbaar via een data service layer (REST API’s, microservices) en zorgt voor foutafhandeling en optimalisatie van de volledige pipeline.

Voor deze opdracht zoeken we een ervaren data engineer met een focus op event-driven systemen en real-time data-integratie, met een grondige kennis van Apache Kafka (Streams, Connect, Schema Registry, Avro, ksqlDB) en Elasticsearch (incl. Kibana, ingest pipelines, index lifecycle management).

De opdracht vereist het opzetten van een data service layer (REST API’s, microservices) die de data uit Elasticsearch beschikbaar stelt voor analyse, monitoring of integratie met andere systemen, evenals ervaring met Docker, Kubernetes en Openshift voor de deployment van de componenten.

De kandidaat waarborgt data-consistentie en schaalbaarheid doorheen het volledige traject van data-ingestie tot data-consumptie, en staat in voor observability, foutafhandeling en optimalisatie via CI/CD-pipelines (Git Lab CI) en Python-scripting.

• Methodisch en precies zijn in het werk:
  Nauwkeurig werken is essentieel voor het waarborgen van data-consistentie en schaalbaarheid binnen de Kafka- en Elastic-architectuur.
• Autonomie en initiatief:
  De kandidaat kan zelfstandig werken, oplossingen voorstellen en zich snel aanpassen aan veranderingen in de situatie.
• Documenteren van het uitgevoerde werk:
  De uitgevoerde analyses, pipelines, schema's, configuraties en technische keuzes moeten duidelijk, gestructureerd en overdraagbaar worden gedocumenteerd (rapporten, documentatie).
• Goede communicatie:
  De kandidaat bezit goede schriftelijke en mondelinge communicatie-eigenschappen en kan probleemloos deelnemen aan vergaderingen met specialisten en gebruikersvertegenwoordigers.
• Kunnen werken in groep, soepelheid van uurrooster:
  De kandidaat kan prioriteiten stellen binnen een complexe omgeving met meerdere data-pipelines, processen en technische afhankelijkheden, en beschikt over de nodige soepelheid van uurrooster.
• Klantgerichte en oplossingsgerichte houding:
  De kandidaat is stressbestendig, creatief, constructief en oplossingsgericht, en werkt met oog voor de noden van de gebruikers.
• Werkregeling: minimum 2 dagen/week aanwezigheid op kantoor, in functie van taken en afspraken met het team; telewerk toegestaan op adres domicilie of werkgever (België)
• Team: multidisciplinair, mix van interne en externe medewerkers

• Elasticsearch (Kibana, ingest pipelines, index lifecycle management)
• Indexingstrategieën en data-consistentie (Elasticsearch)
• Observability, foutafhandeling en optimalisatie van data-pipelines
• Schema management en topicbeheer (Kafka)