AI Test Automation Engineer — разработка фреймворков для AI-продуктов@ НОВЕО

О позиции

Мы — международная IT-компания НОВЕО, занимающаяся проектами по заказной разработке ПО для западноевропейского рынка с 2002 года. Ваша роль как AI Test Automation Engineer удалённо будет заключаться в разработке и поддержке фреймворков автоматизированного тестирования для наших AI-продуктов.

Чем вы будете заниматься

• Разрабатывать и развивать фреймворки автоматизированного тестирования на Python (PyTest) и TypeScript (Playwright) для обеспечения качества кода.
• Внедрять подходы к оценке качества LLM/AI-моделей, включая методы LLM-as-a-Judge и rubric-based scoring.
• Работать с CI/CD в облачной инфраструктуре, используя canary-релизы и механизмы автоматического отката.
• Определять и контролировать SLO для AI/ML-сервисов, включая latency, accuracy и reliability.
• Сотрудничать с ML-инженерами для разработки датасетов и оценки качества моделей.
• Обеспечивать прохождение автоматических проверок качества для каждого Pull Request и canary-развертывания в Kubernetes-кластере.

Требования

• Опыт написания production-ready автотестов на Python и TypeScript.
• Практический опыт разработки подходов к оценке качества LLM/AI-моделей.
• Знание CI/CD и облачной инфраструктуры.
• Опыт работы с SLO для AI/ML-сервисов.
• Уверенный уровень английского языка (B2+ или C1).

Будет плюсом

• Опыт работы с Kubernetes и kubectl.
• Знание методов anomaly detection и тестирования защитных механизмов для LLM.
• Опыт работы в распределенной команде.

Что мы предлагаем

• Трудоустройство через договор с ИП/самозанятым без привязки к местонахождению.
• Оплачиваемый отпуск и больничные.
• Гибкий график, стабильная загрузка (8 часов в день, 40 часов в неделю).
• Работа в профессиональной распределенной команде над интересными проектами.
• Возможность изучения новых технологий и внутреннее обучение.
• Компенсация медицинских услуг, массажа или спорта.