Data engineer

Компания Zolla – крупная федеральная сеть магазинов мужской и женской одежды в связи с расширением отдела ищет себе в команду Data Engineer/Дата-инженера.

• Разработка и поддержка ETL/ELT-пайплайнов для выгрузки данных из API внешних площадок (маркетплейсы, сервисы погоды, и прочие сервисы) в хранилище (MSSQL, PostgreSQL, Click House)
• Оркестрация процессов с помощью Apache Airflow: миграция существующих cron-скриптов в управляемые DAG-и, настройка зависимостей, мониторинг и перезапуск процессов
• Оптимизация производительности SQL-запросов и хранимых процедур: настройка индексов, партиционирование, анализ планов выполнения
• Поддержка и в будущем миграция OLAP-кубов на базе Microsoft Analysis Services (SSAS Tabular) в DWH хранилище
• Подготовка витрин данных для аналитиков и BI-систем: проектирование схем, наполнение данными, контроль качества
• Настройка и сопровождение инфраструктуры для аналитиков:
  Jupyter Notebook/Jupyter Hub, обеспечение быстрого доступа к данным
• Мониторинг состояния пайплайнов и отправка уведомлений (в различные каналы) о статусе выполнения задач

• Высшее, неоконченное высшее образование
• Опыт коммерческой разработки ETL-процессов от 2-х лет
• Уверенное знание SQL (сложные запросы с оконными функциями, CTE, оптимизация, хранимые процедуры, триггеры)
• Опыт работы с реляционными СУБД: MSSQL, PostgreSQL (администрирование на уровне запросов, настройка производительности)
• Практический опыт разработки на Python: написание ETL-скриптов с использованием pandas, SQLAlchemy, requests; интеграция с REST API
• Опыт оркестрации процессов:
  Apache Airflow (понимание архитектуры DAG, Operators, Scheduler, настройка подключений)
• Навыки работы с BI-инструментами на уровне подключения и оптимизации датасетов (Yandex Data Lens: подключение к БД, создание датасетов, оптимизация производительности запросов)
• Понимание жизненного цикла данных, принципов построения DWH (схемы «звезда», «снежинка», медленно меняющиеся измерения)
• Опыт работы с Git (Git Lab) и командной разработкой (Code Review, CI/CD)
• Ответственность, проактивность, умение работать как самостоятельно, так и в команде с аналитиками и разработчиками
• Будет плюсом: Опыт работы с Click House (знание движков таблиц, оптимизация запросов, распределённые таблицы)
• Будет плюсом: Опыт администрирования Jupyter Hub в Docker-контейнерах
• Будет плюсом: Опыт работы с No
  
  SQL-базами (MongoDB)
• Будет плюсом: Понимание архитектуры потоковой обработки данных (Kafka, RabbitMQ)

• Работу удаленно или в комфортабельном и уютном офисе в БЦ Кунцево Плаза в 5 минутах пешком от м. Молодежная
• График работы 5/2 (гибкое начало…