QA-инженер — инженер (ML/LLM) — тестирование систем и автоматизация@ Цифровые привычки

О позиции

Компания "Цифровые привычки" ищет QA-инженера (ML/LLM) для работы над проектом Сбера. Ваша задача будет заключаться в тестировании и автоматизации процессов, связанных с ML-системами. Формат работы: первые 3 месяца в офисе, затем гибридный формат.

Чем вы будете заниматься

• Выстроить систему оценки качества ответов LLM-агентов, включая метрики и критерии.
• Развивать и сопровождать тестовые корзины для регрессионного тестирования.
• Автоматизировать прогон тестов и оценку по бинарным критериям.
• Проводить сравнительное тестирование моделей и версий промптов.
• Тестировать релизы перед выводом в пром, выявляя расхождения поведения.
• Анализировать инциденты качества в проме и локализовывать причины.

Требования

• Опыт QA от 3 лет, с акцентом на тестирование ML/LLM-систем.
• Уверенное владение SQL (GreenPlum) для проверки запросов.
• Знание Python для автоматизации тестов.
• Понимание специфики LLM: недетерминированность, галлюцинации.

Будет плюсом

• Опыт работы с фреймворками оценки LLM (Ragas, DeepEval).
• Знание банковской предметной области и финансовой отчётности.
• Опыт тестирования data-продуктов: витрины, ETL.

Что мы предлагаем

• Заработная плата от 200 до 250 тысяч рублей в месяц.
• Гибридный формат работы после испытательного срока.
• Возможность работы над интересными проектами в области ML.
• Дружный коллектив и поддержка в профессиональном развитии.
• Офис в центре Москвы с комфортными условиями.