Python-разработчик LLM​/GenAI сервисов

Проект связан с разработкой сервисов для инференса больших языковых моделей и интеграцией ML-компонентов в микросервисную архитектуру.

• Разрабатывать сервисы на Python для инференса LLM
• Интегрировать ML-компоненты в микросервисную архитектуру
• Интегрировать внешние API HR-систем и баз знаний
• Работать с промптами, системными инструкциями, few-shot и контекстом диалога
• Настраивать параметры генерации и инференса LLM
• Работать с векторными базами данных: выполнять поиск, reranking и score-boosting
• Собирать и оптимизировать Docker-образы для ML-сервисов
• Участвовать в код-ревью, проверять код по гайдлайнам и выявлять типовые ошибки

• Опыт коммерческой разработки на Python от 4 лет
• Высшее образование в области IT, технических или математических наук либо эквивалентный практический опыт
• Уверенное знание Python: async/await, typing, ООП, структуры данных
• Опыт разработки REST API на FastAPI
• Продвинутый SQL, оконные функции, PostgreSQL и asyncpg
• Практический опыт инференса LLM через OpenAI API или совместимые решения: vLLM, TGI
• Понимание ограничений LLM: галлюцинаций, контекстного окна, стохастичности и задержек
• Навыки разработки промптов: системные промпты, управление контекстом, JSON-mode
• Базовый опыт контейнеризации с Docker
• Базовое понимание CI/CD: запуск конвейеров, чтение логов
• Понимание работы с GPU: память, утилизация, параллелизм
• Умение работать с Git: ветки, pull requests, code review
• Опыт написания юнит-тестов
• Базовое понимание архитектурных паттернов для агентов:
  ReAct, Plan-and-Execute, Agent-as-a-Judge; знакомство с Lang Chain, Lang Graph, Llama Index, Auto Gen
• Базовое понимание алгоритмов и теории машинного обучения
• Знание классического машинного обучения: линейные модели, деревья решений, ансамбли, Random Forest, градиентный бустинг
• Знание метрик качества для классификации и регрессии
• Знание методов валидации моделей: train/test split, кросс-валидация, bootstrapping
• Знание методов предобработки данных: нормализация, стандартизация, кодирование категориальных признаков
• Знание методов создания признаков: отбор признаков, работа с пропусками и выбросами
• Знание scikit-learn, pandas, numpy, matplotlib или seaborn для визуализации
• Будет плюсом: опыт развёртывания LLM через vLLM, знакомство с Kubernetes, опыт работы с векторными базами Qdrant, Pinecone или Weaviate, опыт создания RAG-систем, оптимизация инференса

• Ставка обсуждается
• Срок привлечения — до конца года, возможно продление
• Оформление как ИП или самозанятый
• Удалённая работа с 9:00 до 18:00 по московскому времени