Лид ML-аналитики — развитие аналитики качества AI-сервисов@ Яндекс

О позиции

Мы строим AI-сервисы для бизнеса на базе технологий Яндекса. Среди наших продуктов — Нейроюрист, Алиса Про и Нейросаппорт. Мы ищем лида ML-аналитики, который поможет выстроить сильную функцию аналитики качества AI-сервисов. Ваша роль как лида ML-аналитики заключается в развитии аналитики качества LLM и обеспечении высокого уровня качества AI-продуктов.

Чем вы будете заниматься

• Развивать аналитику качества LLM, исследуя способы измерения качества моделей и AI-сценариев.
• Строить систему метрик и улучшать процессы оценки, помогая командам быстрее и безопаснее запускать изменения.
• Выстраивать процессы ML-аналитики, включая ручную разметку и продуктовые исследования.
• Работать с несколькими сервисами одновременно, помогая Нейроюристу, Алисе Про, Нейросаппорту и Нейросейлзу.
• Управлять командой ML-аналитиков, помогая им развиваться и формировать сильную культуру аналитики качества AI.

Требования

• Опыт управления аналитиками или quality-направлениями.
• Умение строить метрики качества для AI-систем.
• Уверенное владение SQL и Python.

Будет плюсом

• Опыт работы с LLM-as-a-judge, synthetic data или автоматическими evals.
• Опыт построения ML-метрик или платформ оценки качества.
• Знание работы с AI-ассистентами и RAG-системами.
• Понимание специфики B2B- и enterprise-AI-продуктов.

Что мы предлагаем

• ДМС Яндекса с первого месяца работы, включая возможность получать медицинскую помощь за рубежом.
• Гибкий график работы и возможность удалённой работы.
• Обучение и развитие в области ML и AI.
• Участие в интересных проектах с использованием передовых технологий.
• Дружелюбная команда и поддержка в профессиональном росте.