Аналитик продукта AI — Voice AI агенты@ Medvidi

О позиции

MEDvidi — это платформа психического здоровья на основе AI, работающая в более чем 30 штатах США. Мы ищем Аналитика продукта AI, который поможет нам оценивать, контролировать и улучшать Voice AI агентов, взаимодействующих с пациентами и автоматизирующих критические части пути пациента. Эта роль находится на стыке продуктов, AI, инженерии и операций. Вы будете исследовать, как AI ведет себя в производстве, выявлять паттерны сбоев, измерять качество AI и помогать командам принимать более обоснованные решения, используя реальные данные.

Чем вы будете заниматься

• Анализировать Voice AI агентов и системы разговорного AI.
• Исследовать галлюцинации, несоответствия, молчаливые сбои и деградацию качества.
• Анализировать стенограммы звонков, журналы разговоров, выходные данные AI и операционные наборы данных.
• Оценивать качество AI и измерять его надежность.
• Создавать системы мониторинга и панели управления для оценки производительности AI.
• Выявлять изменения качества, аномалии и новые режимы сбоев.
• Измерять влияние AI на опыт пациентов, операции и бизнес-результаты.
• Сотрудничать с командами продуктов, инженерии, QA и операций.

Что мы ожидаем

• Опыт работы от 3 лет в области аналитики продуктов, аналитики данных или операционной аналитики.
• Сильные навыки SQL.
• Знание Python для аналитических исследований и работы с большими текстовыми наборами данных.
• Понимание ограничений LLM, галлюцинаций, чувствительности к подсказкам и режимов сбоев AI.
• Опыт создания систем мониторинга, аналитических структур или панелей управления.
• Сильные коммуникативные навыки и способность переводить идеи в продуктовые решения.
• Свободное владение русским и английским языками (уровень B2+).
• Работа в часы, совпадающие с CET.

Будет плюсом

• Опыт работы с разговорным AI или AI агентами.
• Опыт оценки выходных данных LLM.
• Опыт работы с метриками качества AI и оценочными структурами.
• Опыт работы с ML пайплайнами или продуктами на основе AI.

Что мы предлагаем

• Работа над одним из самых заметных AI продуктов в компании.
• Анализ реальных систем Voice AI, используемых пациентами каждый день.
• Помощь в формировании будущего AI в здравоохранении.
• Высокая степень ответственности и прямое влияние на продуктовые решения.
• Полностью удалённая долгосрочная B2B-контрактная работа.
• Медицинская страховка, компенсация за оздоровление, оплачиваемый отпуск и больничный.
• Персонализированные уроки английского языка через Preply.