Applied AI Engineer

Компания разрабатывает и продвигает собственные мобильные продукты и решения на основе ИИ. Она развивает внутреннюю инфраструктуру и экосистему ИИ-агентов для автоматизации внутренних процессов, управления знаниями и рабочих процессов с поддержкой ИИ.

Тестировать и улучшать внутренние системы ИИ, анализировать качество ответов и ошибок, дорабатывать системные промпты и проверять изменения на реальных и синтетических примерах Развивать систему оценки качества решений ИИ, создавать наборы оценки и метрики, настраивать регрессионные тесты, LLM-as-a-Judge, детерминированные проверки и другие механизмы автоматического тестирования Проводить эксперименты с моделями, промптами, конфигурациями RAG и другими компонентами ИИ, сравнивать качество, скорость и стоимость подходов Анализировать пользовательские сценарии, диалоги и журналы использования, находить повторяющиеся ошибки и формировать гипотезы по улучшению системы Улучшать поиск, качество контекста и релевантность информации в корпоративных базах знаний и системах RAG Исследовать новые модели, инструменты и подходы, создавать прототипы и проверять их пользу для существующей системы Собирать, очищать, классифицировать и размечать данные, формировать наборы данных для SFT, обучения на предпочтениях и оценки Разбирать инциденты и проблемы систем ИИ на уровне моделей, промптов, поиска, данных и интеграций Развивать рабочие процессы агентов, вызов инструментов и автоматизацию внутренних процессов Совместно с ведущим инженером по ИИ развивать общую платформу ИИ, используемую в нескольких продуктах и компаниях

Практический опыт разработки и поддержки систем ИИ и LLM Хорошее понимание принципов работы современных LLM и ограничений таких систем Уверенное владение Python Опыт работы с API LLM и различными моделями Практический опыт проектирования промптов и их системного тестирования Понимание оценки систем LLM и создания наборов оценки Опыт работы с RAG, векторными представлениями и векторными базами данных Умение анализировать, очищать и размечать данные, формировать наборы данных Умение самостоятельно изучать новые технологии, быстро создавать прототипы и оценивать…