AI/ML Engineer — повышение качества RAG-агентов@ Сбер

О позиции

Компания Сбер предлагает вакансию AI/ML Engineer, где вы будете заниматься повышением качества RAG-агентов на трёх направлениях: поиск по технической документации, по нормативной базе и по бухгалтерской документации. Ваша работа будет включать промпт-инжиниринг и контекст-инжиниринг для всех агентов команды, а также подготовку эталонных наборов оценки качества.

Чем вы будете заниматься

• Повышение качества RAG-агентов на трёх направлениях: поиск по технической документации, по нормативной базе, по бухгалтерской документации.
• Промпт-инжиниринг и контекст-инжиниринг для всех агентов команды.
• Подготовка эталонных наборов оценки качества.
• Реализация LLM-as-a-judge как методологии автоматических регрессионных проверок.
• Настройка защит (guards) для production-агентов: фильтры от инъекций в промпт, валидация структуры и контента выходов, защита от утечек ПДн, anti-hallucination механизмы.
• A/B-тестирование промптов и моделей для подбора лучших конфигураций.
• Тюнинг качества по сигналам обратной связи пользователей и трассировкам из Langfuse.

Требования

• Python от 2 лет коммерческой разработки.
• Практический опыт RAG-систем в продакшене: эмбеддинги, векторные базы (Qdrant, FAISS или pgvector), переранжирование, чанкинг.
• Опыт построения и поддержки как минимум одного RAG-решения от начала до конца, не прототип.
• Практический опыт оценки качества LLM-систем: подготовка эталонных наборов, offline-метрики, LLM-as-judge, регрессионные проверки.
• Опыт работы с фреймворками оценки (Ragas, DeepEval или аналоги).
• Практический опыт настройки защит для LLM-приложений: защита от инъекций в промпт, валидация структуры и контента выходов, защита от утечек персональных данных.
• Опыт промпт-инжиниринга и контекст-инжиниринга в реальных проектах: итеративная настройка промптов, structured output, function calling.
• Понимание архитектуры RAG: стратегии нарезки документов, метаданные, выбор моделей эмбеддингов, переранжирование, точность ссылок на источник.
• Практический опыт работы хотя бы с одним LLM-фреймворком: LangChain, LangGraph, PydanticAI, OpenAI API или аналоги.
• Практический опыт A/B-тестирования промптов и моделей в продакшене.
• Опыт работы с агентскими протоколами (MCP) или собственным tool-layer для агентов.
• SQL и работа с реляционными базами на базовом уровне.

Что мы предлагаем

• Конкурентная заработная плата от 300 000 до 500 000 рублей в месяц.
• Работа в офисе в Москве.
• Возможности для профессионального роста и развития.
• Работа в команде экспертов в области AI и ML.
• Доступ к современным технологиям и инструментам.
• Участие в интересных и значимых проектах.
• Корпоративные мероприятия и обучение.