Data engineer in session fraud

Мы делаем систему сессионного антифрода. Она собирает отпечаток устройства и поведение пользователя в интернет-банке, распознаёт ботов и мошенников и решает, пропустить операцию или остановить.

Собирать наборы для обучения из истории событий в Iceberg: срез за период, метки из подтверждённых решений аналитиков, состав набора записан, чтобы его можно было собрать заново. Вести учёт версий моделей: какая версия на каких признаках обучена, с какими метриками, в каком статусе (тест, канарейка, прод, отозвана). На старте это таблица и регламент, не отдельная платформа. Сделать подготовку данных для модели на пути события: по описанию модели (список полей и правила преобразования) собрать нужные поля из события, кешей и графа и привести их к одному виду, тому же, что при обучении.

Сам вызов модели и её обслуживание делает Java-команда, ваша часть данные и их скорость: на сборку и преобразование не больше 50 мс. Настроить проверку новой версии модели на данных: отложенный по времени срез, сравнение с текущей версией на одних и тех же событиях, прогон по истории. Поставить мониторинг в Prometheus и Grafana: отставание конвейеров, сверки источников, дрейф входных данных и скоров, задержка и доля таймаутов, качество по подтверждённым решениям;

оповещения. Проектировать таблицы Click House под нагрузку: ключи сортировки, партиции, сроки хранения, материализованные представления. Вести стенды данных:
Docker, S3-хранилище, Kafka, Click House, PostgreSQL; сборка и деплой в Jenkins; метрики в Grafana. Документировать схемы и регламенты так, чтобы ими пользовалась команда и заказчик.

• Уверенный Python и стек обработки данных: pandas, PyArrow, Parquet, тесты на pytest.
• Click House в бою: настройка, схемы таблиц и ключи сортировки, поведение под нагрузкой и при слияниях, SQL-аналитика, умение объяснить план запроса.
• Kafka: топики, партиции, группы потребителей, повторы и дубли, Avro и реестр схем.
• Умение прочитать Java-код продюсера и потребителя и договориться с Java-командой о контракте.
• S3-совместимые хранилища (MinIO, Ceph) и Parquet поверх них.
• Linux-консоль, Git, Docker: сами поднимаете стенд из нескольких сервисов и разбираете инцидент по логам.
• Prometheus и Grafana: метрики сервисов и конвейеров, дашборды, оповещения.
• Понимание экосистемы Java.
• Jupyter как рабочий инструмент.
• Будет плюсом:
  Iceberg, Delta или Hudi в проде;
  Kafka Connect и строгие Avro-схемы; Хеширование и маскирование персональных данных: банк спросит об этом первым;
  Airflow или другой оркестратор конвейеров;
  PostgreSQL, в том числе pgvector; Антифрод или скоринг: разметка, холдаут по…