Data Engineer; Azure & Python sozialversicherungspflichtig angestellt; m​/w​/d

Westhouse ist eines der führenden Recruitment-Unternehmen für die Vermittlung hochqualifizierter Fachexperten aus dem gesamten IT-Lifecycle- und Engineering-Bereich.

Für unseren Kunden suchen wir aktuell eine/n

• Referenz: 180101
• Start:
• Dauer: 23.09.
• Standort:
  Mainz & Remote
• Arbeitsumfang: full-time
  291 PT
• Sprachen:
  Deutsch

• (Muss) 4 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten sowie in der Implementierung von ETL-/ELT-Prozessen mit Python, SQL und PySpark in Cloud-Umgebungen.
• (Muss) 4 Jahre Erfahrung in der Entwicklung und Modernisierung von Datenplattformen in Microsoft-Azure-Cloud-Umgebungen und Azure Services wie Azure Data Factory oder Azure Synapse.
• (Muss) 4 Jahre Erfahrung in der Entwicklung von Batch- und Streaming-Datenpipelines sowie in der Kafka-basierten Datenverarbeitung zur Bereitstellung großer Datenmengen für Reporting-, Analyse-, KI- und ML-Anwendungsfälle.
• (Muss) Erfahrung in der Integration heterogener Datenquellen, beispielsweise REST oder Kafka, sowie unterschiedlicher Datenformate in cloudbasierte Datenplattformen aus 2 Projekten
• (Muss) 4 Jahre Erfahrung in der Modellierung von Daten heterogener Quellsysteme nach Medallion-Architektur mit Data Vault oder Star Schema
• (Soll) Erfahrung in der Migration und Modernisierung bestehender Datenpipelines und Datenplattformen im Microsoft-Azure-Umfeld, inklusive Migration bestehender Azure-Synapse-Datenflüsse auf moderne cloudbasierte Datenplattformen aus einem Projekt
• (Soll) 4 Jahre Erfahrung in der Konzeption und Umsetzung von Data-Hub- und Lakehouse
  - Architekturen.
• (Soll) Erfahrung in der Implementierung und Optimierung von ETL-/ELT-Prozessen für die Verarbeitung großer Datenmengen im Cloud-Umfeld, inklusive Performance-Optimierung, Standardisierung von Entwicklungsprozessen und Review von Programmcode aus 2 Projekten
• (Soll) Erfahrung in der Konzeption und Umsetzung von Data-Quality-Prüfungen, automatisierten Tests und technischen Qualitätssicherungsmaßnahmen für ETL-/ELT-Prozesse und Datenpipelines aus 2 Projekten

• Analyse fachlicher und technischer Anforderungen sowie Ableitung von Zielarchitekturen für datengetriebene Systeme und Plattformen
• Konzeption und Weiterentwicklung von unternehmensweiten Datenarchitekturen in cloudbasierten Umgebungen (insbesondere AWS und Azure)
• Definition von Architekturprinzipien, Standards und Best Practices für die Entwicklung und den Betrieb von Datenplattformen und Datenprodukten
• Design und Spezifikation von Datenarchitekturen für Data Lakes, Data Warehouses, Data Hub-Strukturen sowie verteilte Datenplattformen
• Konzeption von Integrationsarchitekturen zur Anbindung heterogener Quellsysteme sowie zur Verarbeitung großer und komplexer Datenmengen
• Definition und Bewertung von Architekturentscheidungen im Kontext von Skalierbarkeit, Performance, Sicherheit und Wartbarkeit
• Erstellung von Architekturkonzepten und technischen Spezifikationen als Grundlage für die Umsetzung durch Entwicklungsteams
• Konzeption von Datenmodellen und Datenflüssen zur strukturierten und effizienten Verarbeitung von Daten
• Definition und Weiterentwicklung von Standards für Datenqualität, Governance, Security und Compliance im Datenumfeld
• Durchführung von Architektur-Reviews sowie Bewertung bestehender Systeme im Hinblick auf Modernisierung und Cloud-Transformation
• Konzeption von Lösungsansätzen für die Integration von Machine-Learning- und KI-Use-Cases in bestehende Datenplattformen
• Erstellung und Pflege von Architektur-Dokumentationen sowie Sicherstellung der Nachvollziehbarkeit von Designentscheidungen