Аналитик-разработчик оценки качества моделей Алисы

Команда проводит офлайн-оценку больших языковых моделей Алисы и моделей других разработчиков на подготовленных наборах запросов.

Прокачивать наборы запросов через внутренние инструменты для оценки моделей Настраивать и запускать внутренние инструменты оценки моделей, находить причины сбоев и исправлять проблемы Развивать надстройки над инфраструктурой прокачки, чтобы другие аналитики могли использовать эти инструменты Изучать поведение новых моделей, разбирать незнакомые данные и форматы логов, находить причины проблем Замечать повторяющиеся ошибки, оформлять понятные отчёты об ошибках и предлагать улучшения инструментов и процесса оценки

Быстро разбираться в незнакомых инструментах, данных и логах Самостоятельно запускать и поддерживать технические процессы Ясно описывать и воспроизводить проблемы, объяснять их суть коллегам Будет плюсом: опыт работы с инструментами оценки моделей или качеством ответов ИИ-систем, знакомство с v1/chat/completions и LLM-as-a-Judge, автоматизация процессов и поддержка внутренних инструментов для работы с данными

• Компенсация от 100М токенов для экспериментов и оптимизации рутины
• Доступ к передовым моделям для ежедневной работы
• Расширенная медицинская страховка с первого месяца работы
• Оплачиваемые 30 дней больничного в году
• Страхование от несчастных случаев, лечение критических заболеваний, психологическая помощь и психотерапия
• Ежегодные медицинские осмотры и вакцинация
• Стоматология и экстренная медицинская помощь за рубежом
• Коррекция зрения и хирургическое лечение косоглазия после года работы
• Ведение беременности и роды для сотрудниц и жён сотрудников со стажем более двух лет
• Медицинская страховка для детей и супругов: компания оплачивает 80% стоимости, сотрудник — 20%