Data Engineer ambito Big Data

ESPRIMO Srl, società di consulenza informatica che opera dal 2002 su tutto il territorio nazionale ed internazionale, a supporto delle imprese, si colloca nel settore dell’Information Technology proponendosi come obiettivo quello di fornire una vasta gamma di prodotti, servizi e soluzioni nelle aree più strategiche per l’impresa, come:
Infrastrutture IT, Content Management, ERP, Business Intelligence, CRM, Web Applications, è alla ricerca di un:

Data Engineer ambito Big Data con almeno 3 anni di esperienza

Responsabilità:

Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium/Confluent, garantendo zero data loss ed extract-once.

Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark/Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy).

Gestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni.

Configurare e gestire topic Kafka, offset e code di dead-letter (DLQ): analisi, reprocessing e alerting sui messaggi in errore.

Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie).

Applicare gli standard di progetto: naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier.

Contribuire alle attività di testing, versionamento e pipeline CI, oltre alla documentazione tecnica.

Supportare le fasi di migrazione dei flussi attraverso gli ambienti (Test → Collaudo → Produzione

Competenze tecniche:

Esperienza nello sviluppo di pipeline di Data Engineering.

Conoscenza delle architetture Data Lake e Lakehouse.

Esperienza con paradigmi di Change Data Capture (CDC) e gestione di flussi dati in tempo reale.

Conoscenza di Apache Spark per l'elaborazione distribuita dei dati.

Esperienza con Apache Kafka e architetture event-driven.

Conoscenza di Apache NiFi per l'orchestrazione dei flussi dati.

Esperienza con formati tabellari per Data Lake, preferibilmente Apache Iceberg.

Conoscenza di piattaforme Big Data, preferibilmente Cloudera Data Platform (CDP).

Buona conoscenza di SQL e dei principali database relazionali.

Conoscenza dei principi di Data Quality, Data Governance e monitoraggio delle pipeline.

Familiarità con strumenti di versionamento del codice (Git) e pratiche di sviluppo collaborativo.

Capacità di analisi, problem solving e lavoro in team.

Sede operativa:
Bari (in sede 5gg a settimana)

Retribuzione indicativa: RAL € 32.000/35.000

Si offre un inserimento in un contesto stimolante e innovativo, con grandi prospettive di crescita professionale e una retribuzione commisurata all'esperienza.

La ricerca è rivolta ad entrambi i sessi (L.903/77).

#J-18808-Ljbffr