Senior) Databricks Engineer; m​/w​/d Freelance & Remote

Für strategische Transformationsprojekte und den Ausbau moderner, skalierbarer Datenplattformen suchen wir einen erfahrenen (Senior) Databricks Engineer (m/w/d). In dieser Rolle übernehmen Sie die technische Verantwortung von der Konzeption bis zum produktiven Rollout von Data- & AI-Lösungen auf Basis modernster Lakehouse-Architekturen.

• Plattformkonzeption &
  -architektur:
  Konzeption, Aufbau und Weiterentwicklung moderner Lakehouse-Architekturen und skalierbarer Datenplattformen auf Databricks.
• Pipeline-Entwicklung:
  Entwicklung hochperformanter ETL/ELT-Pipelines (Batch und Streaming) unter Einsatz von Python, SQL, PySpark und Apache Spark.
• Databricks-Ökosystem & Tooling:
  Implementierung moderner Komponenten wie Unity Catalog, Delta Lake sowie Delta Live Tables / Lakeflow;
  Integration in bestehende Cloud- und Analytics-Landschaften.
• Data Governance & Security:
  Etablierung robuster Governance-Strukturen, inklusive Datenklassifizierung, Lineage, Datenqualitäts-Frameworks und Zugriffskontrollen.
• Automatisierung & Performance:
  Aufbau automatisierter Deployments (CI/CD, Infrastructure as Code) sowie kontinuierliche Performance- und Kostenoptimierung bestehender Databricks-Workloads.
• Technische Beratung & Know-how-Transfer:
  Technische Sparringspartner-Rolle für Stakeholder, Coaching interner Data Engineers sowie Mitwirkung an Proof of Concepts (PoCs).

• Tiefgehende Databricks-Expertise:
  Mehrjährige Projekterfahrung im Design und Betrieb produktiver Databricks-Lösungen.
• Data Engineering & Programmiersprachen:
  Exzellente Kenntnisse in Python, SQL sowie fundierte Praxiserfahrung mit PySpark und verteilter Datenverarbeitung (Apache Spark).
• Architektur & Datenmodellierung:
  Nachweisbare Erfahrung mit Delta Lake, Lakehouse-Paradigmen und relationaler/dimensionaler Datenmodellierung.
• Data Governance & Security:
  Hands-on-Erfahrung mit Databricks Unity Catalog (Rollen-/Rechtemanagement, Lineage, Data Quality).
• Cloud-Infrastruktur:
  Solide Projekterfahrung in mindestens einer großen Cloud-Umgebung (Microsoft Azure, AWS oder GCP).
• Software-Engineering-Best-Practices:
  Versierter Umgang mit Git, CI/CD-Pipelines, Testing und IaC (z.
  
  B. Terraform).
• Kommunikation & Arbeitsweise:
  Selbstständige, strukturierte Arbeitsweise, ausgeprägtes Architekturverständnis sowie fließende Deutsch- und gute Englischkenntnisse.

• Databricks-Zertifizierungen (z.
  
  B. Databricks Certified Data Engineer Professional).
• Erfahrung mit Delta Live Tables (DLT) oder Databricks Lakeflow.
• Erfahrung in der technischen Konzeption von PoCs und im Kunden-Coaching.