Data engineer в телеком

Top Selection — группа компаний, занимающаяся трудоустройством IT-специалистов на проектную занятость в сфере телеком.

• Мигрировать ETL-систему телеком-оператора с Oracle/Informatica на Apache-стек
• Переносить бизнес-логику из Informatica в высокопроизводительный SQL-код
• Писать и оптимизировать SQL для витрин данных и ETL-процессов
• Разрабатывать DAG в Airflow
• Настраивать пайплайны в NiFi для источников Oracle и PostgreSQL и приёмников S3 и файловых архивов
• Разрабатывать задания Spark на PySpark для больших объёмов данных
• Интегрировать Kafka для потоковой передачи данных
• Настраивать мониторинг в Grafana/Prometheus и отслеживать метрики
• Разбирать инциденты с качеством данных и ошибками загрузки
• Проводить проверку кода

• Опыт миграции ETL-систем
• Глубокое знание SQL: оконные функции, сложные соединения, иерархические запросы
• Опыт оптимизации SQL для высоких нагрузок: партиционирование, индексы, планы выполнения
• Знание Oracle (PL/SQL) и PostgreSQL
• Знание Greenplum и/или Click House
• Опыт проектирования архитектур на Apache Spark (PySpark), NiFi и Airflow
• Знание Hadoop (HDFS) и Hive
• Опыт мониторинга ETL в Grafana/Prometheus или Victoria Metrics
• Опыт работы с биллинговыми системами
• Будет плюсом: опыт миграции с Oracle/Informatica на Apache-стек, опыт в телеком-домене, потоковая обработка в Kafka Streams/Spark Streaming, знание Informatica Power Center, бинарных форматов хранения в Hadoop, различий Hive и Impala, Greenplum и PostgreSQL, Click House и PostgreSQL, Patroni, S3-хранилищ, КриптоПро или защищённых каналов передачи данных

• Оформление только как ИП
• Локация: РФ, часовой пояс МСК ± 3ч