AI Product Analyst для оценки AI-агентов@ Medvidi

О позиции

Мы ищем AI Product Analyst для работы в команде AI Receptionist в компании MEDvidi. Эта позиция предлагает уникальную возможность работать с реальными AI-системами в производственной среде. Вы будете заниматься оценкой, мониторингом и улучшением AI-агентов и рабочих процессов на основе LLM, что позволит вам влиять на развитие продукта и улучшение пользовательского опыта.

Чем вы будете заниматься

• Анализировать данные AI-агентов и рабочих процессов на основе LLM.
• Исследовать галлюцинации, несоответствия и режимы сбоев AI.
• Анализировать логи, разговоры, сырые данные и операционные наборы данных.
• Оценивать и мониторить качество AI.
• Создавать панели мониторинга и системы отслеживания производительности AI.
• Измерять влияние AI на продукт, операции и пользовательский опыт.
• Сотрудничать с командами продуктов, инженерии, QA и операций.

Требования

• 3+ года опыта в области анализа продуктов, данных или AI.
• Сильные навыки Python и SQL.
• Понимание ограничений LLM, галлюцинаций и проблем оценки AI.
• Опыт работы с комплексными производственными системами или платформами автоматизации.
• Сильный аналитический и инициативный подход.
• Опыт работы с разговорным AI или AI-агентами будет плюсом.
• Свободное владение русским и английским языками на уровне B2+.
• Работа в часы, совпадающие с CET.

Что мы предлагаем

• Работа с реальными AI-системами в производственной среде.
• Высокий уровень ответственности и прямое влияние на продукт.
• Быстро развивающаяся среда стартапа.
• Полностью удалённое долгосрочное сотрудничество на условиях B2B.
• Медицинская страховка, компенсация за оздоровление, оплачиваемый отпуск и больничный.
• Персонализированные уроки английского языка через Preply.