Backend разработчик LLM-сервисов
Job in
Phoenix, Maricopa County, Arizona, 85001, USA
Listed on 2026-10-30
Listing for:
YADRO
Full Time
position Listed on 2026-10-30
Job specializations:
-
Software Development
AI Engineer (Applied/Software), Python, Machine Learning/ ML Engineer, Backend Developer
Job Description & How to Apply Below
Описания нет
Задачи- Проектировать и поддерживать GPU-кластер инференса для десятков тысяч пользователей: масштабировать его, балансировать и приоритизировать запросы, настраивать пользовательские лимиты
- Оптимизировать производительность с помощью кэширования и пакетной обработки
- Обеспечивать SLA и предотвращать регрессии
- Оценивать и внедрять новые LLM
- Разрабатывать ИИ-сервисы: AI Code Assistant, AI Chat и AI Code Review
- Проектировать пайплайны автоматизации: вызов инструментов и функций, обработку ошибок, управление контекстом и состоянием
- Встраивать ИИ-сервисы в корпоративную среду, интегрируя их с API, базами данных и устаревшими системами
- Проводить эксперименты, создавать MVP и выстраивать путь доработки решений до промышленной эксплуатации
- Исследовать новые технологии и подходы для улучшения продуктов
- Опыт разработки на Python от 5 лет
- Знание стандартов Python, включая типизацию, асинхронность и шаблоны проектирования
- Опыт создания высоконагруженных API на FastAPI или аналогах
- Опыт работы с очередями, исполнителями и фоновыми задачами
- Опыт построения шлюзов и маршрутизаторов, управления ключами, маршрутизацией и пользовательскими лимитами
- Опыт поддержки высоконагруженных сервисов в промышленной эксплуатации, обеспечения стабильности контрактов и обработки ошибок
- Глубокое знание инструментов инференса, включая vLLM, SGLang и OpenAI API, и понимание их внутренней работы
- Опыт настройки инференса под высокую нагрузку: задержки, пропускная способность и управление ресурсами GPU
- Опыт построения решений с вызовом инструментов и функций, включая MCP и защитные механизмы, и борьбы с галлюцинациями
График 5/2
To View & Apply for jobs on this site that accept applications from your location or country, tap the button below to make a Search.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
Search for further Jobs Here:
×