Python разработчик инженерии данных

X5 Tech разрабатывает платформу больших данных и фреймворк инженерии данных — набор инструментов для интеграции источников и создания витрин данных.

• Участвовать в разработке фреймворка инженерии данных на платформе больших данных
• Писать эффективные скрипты на Python для обработки и преобразования данных
• Разрабатывать и поддерживать конвейеры извлечения, преобразования и загрузки данных с помощью библиотек Python
• Интегрировать источники данных и создавать витрины данных

• Учиться в магистратуре по направлению, связанному с IT, прикладной математикой или анализом данных
• Уверенно владеть Python 3, понимать объектно-ориентированное программирование, декораторы, генераторы и контекстные менеджеры
• Иметь опыт работы с Pandas и Num Py
• Понимать принципы работы FastAPI
• Знать принципы чистого и поддерживаемого кода, быть знакомым с PEP 8 и типизацией
• Хорошо знать SQL, уметь писать базовые запросы, использовать объединения таблиц и агрегации
• Понимать оконные функции и основы оптимизации SQL-запросов
• Иметь опыт работы с PostgreSQL или MySQL
• Владеть базовыми навыками работы с Git
• Иметь общее представление об архитектуре Lakehouse и понимать её отличия от классического хранилища данных
• Знать основы Linux
• Будет плюсом: базовое понимание асинхронного программирования на Python, знакомство с Apache Spark (PySpark) или Dask, опыт работы с Apache Airflow, понимание форматов Parquet и ORC и табличного формата Iceberg, опыт работы с хранилищами S3, MinIO, AWS S3 или VK Cloud, знакомство с Trino или Presto, опыт работы с dbt или Cosmos, базовые знания контейнеризации и Docker

• Официальное оформление на 6 месяцев с белой заработной платой
• Гибкий график
• Добровольное медицинское страхование с первого дня перехода со стажировки в штат
• Возможность учиться и развиваться за счёт компании: программы развития цифровых и управленческих навыков, мастер-классы, корпоративный университет и школа наставников
• Обмен опытом в 12 технических сообществах
• Внутренние встречи, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтёрства и корпоративного предпринимательства
• Семь спортивных сообществ и ежегодная Неделя здоровья
• Скидки в экосистеме бизнесов X5 и предложения от компаний-партнёров