Data Engineer; K​/M​/N

Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).

• Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse
• Projektowanie i rozwój procesów przetwarzania danych
• Implementacja i optymalizacja procesów ETL/ELT
• Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP
• Rozwój rozwiązań opartych o Big Query
• Współpraca z zespołami projektowymi oraz technicznymi
• Monitorowanie i utrzymanie procesów przetwarzania danych
• Udział w rozwoju architektury danych oraz zapewnianiu jakości danych

• Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer
• Bardzo dobre umiejętności komunikacyjne i organizacyjne
• Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi
• Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym
• Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics
• Doświadczenie z Big Query
• Doświadczenie z Cloud Storage
• Doświadczenie z Cloud Dataflow (Apache Beam)
• Doświadczenie z Cloud Composer (Apache Airflow)
• Znajomość Datastream
• Znajomość Dataplex
• Doświadczenie z Pub/Sub
• Doświadczenie z Dataform
• Bardzo dobra znajomość Python
• Znajomość bibliotek do przetwarzania danych (m.in. Pandas)
• Bardzo dobra znajomość SQL (ANSI SQL oraz Big Query SQL)
• Znajomość MySQL
• Znajomość PostgreSQL
• Znajomość MS SQL Server
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold)
• Znajomość procesów ETL/ELT
• Znajomość zagadnień Data Governance
• Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych
• Znajomość zagadnień wersjonowania danych
• Praktyczna znajomość Git
• Znajomość procesów CI/CD
• Doświadczenie z Cloud Monitoring oraz Cloud Logging