Rl engineer для VLM

Описание:
Giga Chat Vision - команда, которая занимается полным циклом обучения VLM-моделей.

• Разрабатывать и улучшать RL-подходы для обучения VLM/LLM-моделей: выбирать алгоритмы, ставить эксперименты и анализировать результаты
• Проектировать reward-функции и пайплайны обучения, выстраивать стратегии масштабирования под разные домены и сценарии, влиять на метрики качества
• Определять требования к данным для RL, участвовать в создании пайплайнов сбора, фильтрации и подготовки датасетов
• Развивать систему оценки качества reasoning: внедрять и улучшать метрики в существующем eval-фреймворке, предлагать новые способы измерения качества
• Работать на стыке с Pretrain, SFT и Infra, обеспечивать согласованность решений и перенос экспериментов в производственный пайплайн
• Следить за развитием области и переводить идеи из статей в проверяемые эксперименты и инженерные решения
• Разбирать технические задачи, отлаживать эксперименты и аномалии в обучении, находить узкие места и доводить решения до результата
• Делиться экспертизой с командой, участвовать в проверке кода и помогать улучшать качество решений и подходы к экспериментам
• Развивать инфраструктуру для RL

• Глубокое понимание RL для LLM/VLM и практический опыт с RLHF, GRPO и PPO
• Понимание полного цикла обучения VLM/LLM: pretrain, SFT и RL, а также влияния решений на каждом этапе на итоговые метрики
• Опыт распределённого обучения с Deep Speed и FSDP, а также с фреймворками inference
• Практический опыт постановки, проведения и анализа RL-экспериментов
• Умение самостоятельно решать сложные технические задачи в условиях неопределённости
• Умение выстраивать процессы в условиях неопределённости
• Опыт взаимодействия со смежными командами и заинтересованными сторонами
• Системное мышление: способность видеть весь цикл от данных и проектирования reward до оценки и производственных метрик
• Будет плюсом: опыт менторинга или технического лидерства в отдельных проектах, публикации или вклад в открытые проекты по RL/LLM/VLM, опыт вывода моделей, обученных с RL, в производство и поддержки их качества

• Доступ к сообществу DS&AI, объединяющему более 600 специалистов банка
• Дайджест последних разработок в DS&AI и…