Ml engineer для инференса LLM

Описания нет

• Разрабатывать production-инференс больших LLM
• Разрабатывать распределённый инференс и оптимизировать serving
• Работать с SGLang в production
• Выполнять post-training LLM
• Разрабатывать agent harness
• Оптимизировать caching, batching, quantization и speculative decoding
• Работать с GPU-инфраструктурой на базе 32×H200 и AWS, участвовать в её расширении
• Осуществлять техническое лидерство NLP/CV-направления

• Иметь сильный опыт production-инференса LLM
• Иметь опыт распределённого инференса больших моделей
• Знать vLLM, SGLang, TensorRT-LLM или сопоставимый стек
• Понимать tensor/pipeline/expert parallelism, KV cache и оптимизацию GPU
• Иметь опыт post-training: SFT, DPO, RLHF и других методов
• Иметь сильную базу в ML, компьютерных науках и математике
• Не подойдут кандидаты, которые преимущественно занимались RAG, Lang Chain, интеграциями API или только развёртывали готовые LLM
• Будет плюсом: CUDA/Triton, Deep Speed, Megatron-LM, FSDP, MoE, собственные статьи, PhD, исследования или заметный вклад в open source

Remote, B2B (вне РФ,РБ) Часовой пояс, совместимый с CET В продукте присутствует контент 18+