Data engineer

Описание: Развитие корпоративного хранилища данных крупной компании: собираем данные из десятков источников, строим витрины и обеспечиваем единую отчётность для бизнеса. Senior-инженеру предстоит отвечать за ETL-пайплайны, моделирование и качество данных - от источника до готового отчёта.

• Проектировать и развивать DWH: слои, витрины и модели данных (звезда, medallion, SCD2)
• Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python
• Работать с PostgreSQL, Greenplum и Click House, оптимизировать загрузки и запросы
• Организовывать потоковую загрузку из Kafka/RabbitMQ, следить за идемпотентностью и backfill
• Обеспечивать качество данных: тесты, сверки с источниками, мониторинг свежести и объёмов
• Участвовать в архитектурных решениях, проводить код-ревью и наставлять коллег
• Вести документацию и каталог данных

• Опыт в Data Engineering / DWH от 5 лет
• Продвинутый SQL: оконные функции, CTE, чтение планов, оптимизация Python на уровне production-кода
• Опыт ETL/ELT:
  Airflow и Spark
• Понимание моделирования хранилищ и инкрементальной загрузки
• Опыт работы с Click House или Greenplum/PostgreSQL на больших объёмах Kafka или RabbitMQ, Docker, Git, CI/CD
• Опыт код-ревью и наставничество
• Будет плюсом: dbt в продакшене;
  Apache Iceberg (или Delta/Hudi), Trino;
  Debezium и CDC; Инструменты data quality и каталоги данных;
  Kubernetes, on-prem-инфраструктура

• Полная занятость с графиком 5/2
• Удалённый формат работы
• Работа в аккредитованной ИТ-компании
• Работа с современным стеком технологий и крупными игроками рынка
• Официальное трудоустройство по ТК РФ или ИП РФ