Data engineer в розничной торговле
Listed on 2026-10-30
-
IT/Tech
Data Engineering, Database Administrator, Data Analyst, Data Warehousing
Проект крупной розничной сети включает построение, развитие и поддержку современных ETL-пайплайнов и корпоративного хранилища данных.
ЗадачиСоздавать и развивать ETL-пайплайны с Python и PySpark Поддерживать и дорабатывать DAG в Apache Airflow: анализировать логи, устранять типовые сбои, выполнять backfill Разрабатывать модели dbt, тесты и документацию Обслуживать сущности Data Vault 2.0 в части Satellite Взаимодействовать с хранилищем S3 через boto3 и реляционными и колоночными СУБД Проверять качество данных: контролировать NULL-значения, уникальность ключей и корректность типов Фиксировать технические метаданные в Data Hub и отслеживать статус пайплайнов в системах мониторинга
Требования- Не менее 2 лет опыта в роли Data Engineer
- Уверенное владение Python: синтаксис, основы ООП, написание ETL-скриптов с готовыми библиотеками и отладка
- Знание PySpark: работа с Data Frames API, понимание различий между Action и Transformation, базовое понимание архитектуры Spark
- Навыки работы с SQL: JOIN, агрегации, оконные функции и базовое понимание индексов
- Опыт работы с PostgreSQL, Click House, Greenplum, Oracle или MySQL; понимание реляционной модели и принципов ACID, базовые знания No
SQL - Понимание различий между OLTP и OLAP, особенностей строковых и колоночных хранилищ, принципов Data Vault 2.0
- Опыт работы с Airflow: настройка DAG, расписаний, операторов, сенсоров, Connections, Variables, повторных запусков и оповещений
- Владение dbt: создание моделей и источников, использование refs и Jinja, настройка материализаций, seeds и тестов
- Работа с Git и Git Lab CI: управление ветками, создание MR, участие в код-ревью, чтение конфигураций .gitlab-ci.yml
- Базовые навыки Docker: составление Dockerfile, локальная сборка и запуск контейнеров
- Умение работать с инструментами мониторинга: чтение дашбордов в Grafana, Sentry и Kibana
- Будет плюсом: практический опыт работы с Data Vault 2.0, особенно Hub, Link и Satellite, понимание специфики розничной торговли и больших объёмов транзакционных данных
Срок привлечения — 24 месяца с возможностью пролонгации Вакансия актуальна до 27.10 включительно до 17:00
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).