DevOps-инженер — Kubernetes@ KODE

О позиции

В компании KODE открыта вакансия DevOps-инженера для работы с LLM-платформами. Вы будете заниматься развертыванием, сопровождением и обновлением LLM-инференс платформ, а также эксплуатацией и развитием AI-платформы в Kubernetes.

Чем вы будете заниматься

• Развертывание, сопровождение и обновление LLM-инференс платформ (vLLM, SGLang, Ollama);
• Эксплуатация и развитие AI-платформы в Kubernetes, включая масштабирование и управление GPU-ресурсами;
• Настройка AI Gateway (LiteLLM): маршрутизация запросов, API-ключи, квоты, лимиты и политики доступа;
• Оптимизация производительности inference: batching, KV Cache, semantic cache, снижение latency и стоимости инференса;
• Настройка мониторинга, логирования и трассировки (OpenTelemetry, Langfuse, SigNoz, Prometheus/Grafana);
• Автоматизация CI/CD процессов для инфраструктуры и моделей, поддержка GitOps-подхода;
• Интеграция и сопровождение сервисов памяти, векторных хранилищ и компонентов RAG/Agentic AI;
• Диагностика и устранение инцидентов, обеспечение стабильности и высокой доступности LLM-платформы.

Требования

• Опыт в роли DevOps от 3 лет;
• Опыт администрирования Kubernetes в production, Docker, Helm, понимание GitOps-подходов;
• Опыт эксплуатации LLM inference-серверов (vLLM, SGLang, Ollama или TGI) и понимание их архитектуры;
• Хорошее понимание принципов работы LLM: токены, KV Cache, batching, streaming, квантование, RAG;
• Практический опыт работы с GPU (NVIDIA/CUDA), распределением ресурсов и оптимизацией производительности;
• Опыт настройки мониторинга и observability (Prometheus, Grafana, OpenTelemetry, SigNoz/Langfuse);
• Уверенные знания Linux, Docker, сетевого взаимодействия и диагностики инфраструктурных проблем;
• Навыки автоматизации на Python и работы с CI/CD (GitLab CI/GitHub Actions);
• Опыт работы с Redis, PostgreSQL и API-шлюзами;
• Знание LiteLLM, KEDA, Qdrant/Milvus будет преимуществом.

Что мы предлагаем

• Конкурентная зарплата от 170000 до 230000 рублей;
• Гибкий график работы и возможность удалённой работы;
• ДМС и другие социальные гарантии;
• Возможности для профессионального роста и развития;
• Работа в дружной команде профессионалов;
• Интересные и сложные задачи в области AI и DevOps;
• Современный стек технологий и инструменты.