ML-разработчик (Inference) в Yandex Cloud@ Яндекс

О позиции

Мы ищем ML-разработчика (Inference) для работы в ML-сервисах Yandex Cloud. Эта позиция предлагает возможность работать над передовыми технологиями в области машинного обучения и оптимизации инференса. Вы будете заниматься производительностью и масштабируемостью инференса, а также разрабатывать распределённые системы для больших моделей.

Чем вы будете заниматься

• Оптимизация throughput и latency при генерации LLM, внедрение техник вроде speculative decoding и continuous batching.
• Разработка и развитие распределённых систем для инференса, интеграция с Kubernetes и автоматическое масштабирование.
• Низкоуровневая оптимизация с использованием CUDA/Triton-kernels, профилирование и оптимизация памяти.
• Разработка API и SDK для разработчиков, автоматизация развёртывания и обновления моделей.

Требования

• Понимание устройства трансформеров и LLM-инференса: attention, кеширование, последовательная генерация.
• Опыт оптимизации под GPU: CUDA/Triton, профилирование, работа с Tensor Cores.
• Умение работать с PyTorch, JAX, TensorRT, HuggingFace TGI или vLLM.
• Навыки разработки на Python и одном из системных языков (C++ или Go).
• Опыт построения и эксплуатации высоконагруженных сервисов (Kubernetes, gRPC, observability).

Будет плюсом

• Опыт работы с балансировщиками и поддержкой multi-node-сценариев.
• Знания в области облачной инфраструктуры и интеграции с on-prem-сценариями.

Что мы предлагаем

• Конкурентная зарплата и возможность профессионального роста.
• Гибкий график работы и возможность частично удалённой работы.
• Доступ к современным технологиям и инструментам в области ML.
• Команда профессионалов и возможность участия в интересных проектах.