Principal Platform Engineer; m​/w​/d

Shopware ist ein führendes E-Commerce-System, das es Unternehmen weltweit ermöglicht, im digitalen Handel schnell und effizient zu skalieren. Als zukunftsweisende Open-Source-Lösung wird Shopware bereits von einigen der größten europäischen Marken, Einzelhändlern und Herstellern im B2C- und B2B-Bereich eingesetzt.

Wir suchen eine:n Principal Platform Engineer (m/w/d) für den Aufbau und Betrieb unserer Data Platform – der Infrastruktur für Datenaufnahme, Speicherung und Laufzeitumgebungen, auf der alle Datenpipelines bei Shopware laufen. Du verantwortest ihre Architektur und Zuverlässigkeit: von der CDC-Datenaufnahme über einen dreistufigen Data Lake bis hin zur Orchestrierungsplattform.

Deine Arbeit ermöglicht es den Service-Teams und dem Management, unsere Kund:innen und Produkte besser zu verstehen. Zugleich schaffst du die technische Grundlage, um Anforderungen an Data Governance und Compliance tatsächlich durchzusetzen.

Du arbeitest eng mit Data & AI zusammen, die auf der von dir betriebenen Plattform Datenpipelines entwickelt. Im Service Enablement Team sorgst du dafür, dass für die Data Platform dieselben Golden Paths und Qualitätsstandards gelten wie für die übrige Service Platform. Die Position ist eine erfahrene Fachlaufbahn ohne Personalverantwortung. Wichtig ist, dass du gern mit vielen Stakeholdern, Kolleg:innen und Partnern zusammenarbeitest.

• Datenaufnahme: CDC-Ingestion über DMS/Lambda in den Raw-Bereich von S3 sowie Verantwortung für Raw-Schema und Datenverträge. Derzeit umfasst die Plattform 13 Domänen und rund 180 Schemata über drei Ebenen hinweg. 11 CDC-Quellen laufen bereits produktiv, weitere kommen hinzu.

• Speicherung und Orchestrierung: Verantwortung für die mit Terraform bereitgestellte Orchestrierungsplattform auf Basis von Step Functions, Event Bridge und Glue über alle drei Lake-Ebenen (Raw, Curated und Aggregated) sowie für die zugehörigen CDC-Terraform-Module.

• Datenkatalog-Infrastruktur: Betrieb und Bereitstellung von Open Metadata. Dazu gehören die Katalog-Infrastruktur und die Trennung zwischen Betrieb und Nutzung wie bei den Lake-Ebenen. Data & AI ergänzt darauf aufbauend Datensatzbeschreibungen, Glossar und Stewardship-Inhalte.

• Tooling-Infrastruktur: Bereitstellung und Betrieb von Superset, dem Werkzeug der Teams für Datenabfragen und Visualisierungen.

• Abgrenzung der Pipelines: klare Codegrenzen, ein Merge-blockierender Vertragscheck und eine eindeutige Regel für die Weiterleitung von Vorfällen:
  Bei Infrastrukturproblemen wirst du benachrichtigt oder alarmiert, nicht bei Fehlern in der Pipeline-Logik.

• Zuverlässigkeit: Aufbau von Observability und operativer Exzellenz für die Data Platform, unter anderem mit Datadog, Incident Response sowie SLOs und SLIs. Du übernimmst den On-Call-Dienst; die Vergütung dafür entspricht vom ersten Tag an der Regelung anderer Teams.

• Governance- und Compliance-Mechanismen: Die Richtlinien selbst – etwa Klassifizierungsstandards, Aufbewahrungsregeln und der Umgang mit DSGVO- und Datenschutzanfragen – werden außerhalb von SET und Data & AI durch Legal/Compliance oder eine datenschutznahe Funktion verantwortet. Du legst diese Richtlinien nicht fest, sondern implementierst die dafür erforderliche Architektur:
  Aufbewahrungsfristen, Zugriffskontrollen, Klassifizierungsmetadaten und die Weiterleitung von Löschanfragen.

• Plattformübergreifende Konsistenz: Zusammenarbeit mit dem Principal Platform Engineer für Infrastruktur, damit die Data Platform dieselbe Self-Service-Philosophie und denselben Reifegrad wie die übrige Plattform erreicht.

• Fundierte praktische AWS-Erfahrung mit Glue, Athena, Step Functions, Event Bridge, Lake Formation und S3 sowie umfassende Terraform-Erfahrung beim Erstellen und Weiterentwickeln gemeinsam…