AI/LLM Engineer — разработка и валидация GenAI-решений@ GenAI Evaluation

Что за роль

Вам предстоит выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development. Вы будете разрабатывать сервис для массового тестирования GenAI-решений и создавать внутренние бенчмарки по HR-домену для оценки open-source LLM.

Чем вы будете заниматься

• Проектировать метрики качества и валидационные пайплайны, настраивать observability.
• Организовывать человеческую разметку и разрабатывать LLM-as-Judge.
• Готовить лучшие практики и инструкции для продуктовых команд.

Требования

• Уверенный Python, опыт production-ready ML/GenAI-сервисов.
• Опыт систем оценки качества ML/GenAI: offline-метрики, regression testing, human evaluation, A/B.
• Опыт валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость).
• Опыт с DeepEval, LangFuse, MLflow, LangSmith и аналогами.
• Опыт с LLM API, RAG, агентами, LangChain/LangGraph.
• Опыт FastAPI, asyncio и векторных баз (Milvus, Qdrant, FAISS, pgvector).

Будет плюсом

• Знание Java.
• Опыт обучения и инференса open-source LLM.

Что мы предлагаем

• Полная занятость, график 5/2.
• Формат работы: удалённо, гибрид или офис.