О позиции
Мы улучшаем сервис разметки достоверности ответов LLM-моделей для Алисы AI. У нас есть три зоны ответственности: голденсеты, бенчмарки и инструкция; агенты-исполнители; люди-исполнители. Вы будете работать над всеми тремя направлениями.
Чем вы будете заниматься
- Голденсеты и инструкция: Это ключевая область — можно сказать, сердце разметки. В ней четыре больших задачи: собирать эталоны и узкие бенчи для оценки качества исполнителей и агентов; валидировать инструкцию и вносить в неё правки; размечать ответы для новых направлений; отвечать за качество голденсета.
- Исполнители-агенты: Новое направление, много низко висящих фруктов. Его задачи — развивать имеющегося агента (довести f1 агента на критах до уровня редактора, сделать прокачку дешёвой) и собирать набор агентов, которые с высокой полнотой и приемлемой точностью будут готовить разметку.
- Исполнители-люди: Классическая работа с асессорами и редакторами. Тут также важно выстраивать пайплайны с LLM: подготовка хинтов, оценка качества комментариев, раздебаг проблем и обучение людей, система оплаты и мотивации.
Требования
- Понимание важности анализа данных.
- Уверенное владение Python и знание алгоритмов.
- Знание матстатистики и опыт проверки гипотез.
Что мы предлагаем
- Сотрудники Яндекса бесплатно участвуют в профильных конференциях.
- Школа подготовки спикеров для тех, кто выступает на конференциях.
- Полный список бонусов доступен на нашем сайте.
Кто здесь добьётся успеха
Глубокое понимание Python и алгоритмов машинного обучения, особенно в контексте работы с LLM, что позволит эффективно разрабатывать и оптимизировать модели для Алисы AI.
Способность работать в гибридном режиме, что подразумевает высокую степень автономности и самоорганизации, а также умение эффективно взаимодействовать с командой как удаленно, так и в офисе.
Опыт в математической статистике и анализе данных, что позволяет точно интерпретировать результаты и разрабатывать качественные эталоны для оценки моделей.
Аналитическое мышление и внимание к деталям, необходимые для работы с голденсетами и бенчмарками, чтобы обеспечить высокую достоверность ответов AI.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости AI/ML
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев