QA-инженер@ Альвента

Что за роль

В компании Альвента открыта вакансия QA-инженера для тестирования и разметки данных AI-агента. Вы будете заниматься построением тестовой модели агента и анализом логов реальных звонков.

Чем вы будете заниматься

• Строить тестовую модель агента: сценарии звонков, состояния и переходы между ними.
• Писать и поддерживать тест-кейсы и чек-листы, собирать регрессионные наборы.
• Прогонять сценарии: звонить агенту вручную и запускать текстовые прогоны.
• Учитывать недетерминированность LLM: гонять кейс несколько раз, считать долю успешных прогонов.
• Заводить баги с чёткой классификацией.
• Анализировать логи реальных звонков и находить повторяющиеся проблемы.
• Размечать и исправлять датасеты под конкретные баги.
• Писать критерии оценки и инструкции для автоматической проверки ответов через LLM.
• Проверять, что старые баги закрыты и не появились новые после релиза.

Требования

• Коммерческий опыт в тестировании от 2 лет.
• Уверенное владение техниками тест-дизайна.
• Умение писать понятные тест-кейсы, чек-листы и баг-репорты.
• Понимание процессов QA.
• Отличная грамотность в русском языке.
• Внимательность и терпение к монотонной работе.
• Уверенная работа с таблицами и JSON.

Будет плюсом

• Опыт тестирования чат-ботов или голосовых ассистентов.
• Опыт разметки данных и понимание согласованности разметки.
• Базовый Python для обработки логов и датасетов.
• Понимание работы LLM и дообучения.
• Опыт с API-тестированием.
• Интерес к медицине или опыт работы с клиниками.