ML-разработчик (Inference) в Yandex Cloud@ Яндекс

О позиции

Мы ищем ML-разработчика (Inference) в Yandex Cloud, который будет работать над оптимизацией инференса больших языковых моделей. Ваша роль будет включать в себя множество интересных задач, связанных с производительностью и масштабируемостью инференса, а также с дистрибуцией и оркестрацией систем.

Чем вы будете заниматься

• Оптимизация throughput и latency при генерации LLM, внедрение техник вроде speculative decoding и KV-cache.
• Разработка и развитие распределённых систем для инференса, интеграция с Kubernetes и сервис-мешами.
• Низкоуровневая оптимизация с использованием CUDA и Triton-kernels, работа с NVLink и RDMA.
• Разработка API и SDK для разработчиков, автоматизация развёртывания и обновления моделей.
• Поддержка on-prem-сценариев у клиентов и интеграция с облачной инфраструктурой.

Требования

• Понимание устройства трансформеров и LLM-инференса, включая attention и кеширование.
• Опыт оптимизации под GPU, включая CUDA и профилирование.
• Умение работать с PyTorch, JAX, TensorRT, HuggingFace TGI или vLLM.
• Навыки разработки на Python и одном из системных языков (C++ или Go).
• Опыт построения и эксплуатации высоконагруженных сервисов, таких как Kubernetes и gRPC.

Будет плюсом

• Знание принципов observability и мониторинга.
• Опыт работы с балансировщиками и автоматическим масштабированием.
• Навыки работы с многопоточными и распределёнными системами.

Что мы предлагаем

• Конкурентная зарплата и возможность работать в гибридном формате.
• Доступ к современным технологиям и инструментам.
• Возможности для профессионального роста и развития.
• Работа в команде экспертов в области ML и AI.
• Участие в интересных проектах с использованием передовых технологий.

Если вы хотите стать частью нашей команды и развивать ML-сервисы в Yandex Cloud, переходите по ссылке для отклика: Яндекс Вакансии.