Senior LLM Infrastructure & Reliability Engineer (AI)@ Лондонская продуктовая компания

О позиции

Мы ищем Senior LLM Infrastructure & Reliability Engineer для создания и эксплуатации высокопроизводительной платформы для локального вывода LLM с использованием кластеров на базе GPU. Эта вакансия предполагает работу с системной инфраструктурой, ориентированной на операционную способность аппаратных и программных стеков AI. Это не роль по обучению моделей или исследованию данных.

Чем вы будете заниматься

• Операции обслуживания: запуск и масштабирование LLM-сервисов с использованием Ray/Ray Serve, Docker и Linux.
• Управление выводом: развертывание моделей через vLLM/Hugging Face и их экспонирование через высокопроизводительные API, совместимые с OpenAI.
• Оптимизация производительности: настройка использования GPU, пакетирования запросов, задержки и пропускной способности для максимальной эффективности аппаратного обеспечения.
• Инженерия надежности: поддержание стабильности системы через мониторинг, надежную обработку ошибок и автоматическое восстановление.
• Управление жизненным циклом: полное владение циклом развертывания модели: версионирование, обновления, бенчмаркинг и откаты.
• Поддержка агентов: предоставление инфраструктурной поддержки внутренним командам, работающим с агентами, автоматизацией и рабочими процессами AI.

Требования

• Основы: Windows, Linux, Docker, CI/CD, Сетевые технологии (балансировка нагрузки, маршрутизация, обнаружение сервисов), Python, Kubernetes.
• Стек вывода: vLLM, Hugging Face, Токенизация, Квантование.
• Распределенные системы: кластеры Ray, оркестрация.
• Операции с аппаратным обеспечением: CUDA, управление VRAM, многопроцессорные установки.
• Backend и API: FastAPI, аутентификация, ограничение частоты, настройка производительности.
• Наблюдаемость: метрики в реальном времени, логирование, дашборды (Grafana/Prometheus).

Будет плюсом

• Автоматизация тестирования: сотрудничество с командой QA для реализации автоматизированного тестирования для рабочих процессов LLM.
• Инженерия подсказок: проверка стабильности, доступности, скорости и отзывчивости различных моделей.
• Оценка: поддержка "LLM-as-a-judge" и автоматизированных оценочных конвейеров для обеспечения качества вывода.
• Стабильность агентов: вклад в стабильность поведения агентов через инженерные подсказки и соблюдение ограничений.
• Бенчмаркинг: поддержание наборов подсказок и регрессионных бенчмарков для раннего выявления падений производительности.
• Интеграция с фреймворками: поддержка интеграции с фреймворками агентов, такими как LangGraph и n8n.
• Обратная связь: включение телеметрии для оптимизации подсказок, маршрутизации и выбора модели.

Что мы предлагаем

• Конкурентная заработная плата до 8500 USD в месяц.
• Удалённая работа с гибким графиком.
• Работа в международной команде с возможностью профессионального роста.
• Участие в интересных проектах в области AI и LLM.
• Поддержка обучения и развития.
• Современные инструменты и технологии для работы.