Senior DevOps Engineer (DWH/ML Platform)

О позиции

Мы ищем Senior DevOps Engineer для создания масштабируемой платформы для работы с данными. Ваша роль будет заключаться в развитии инфраструктуры, на которой работают Trino, Spark и ML-модели, с использованием современных практик Infrastructure as Code (IaC) и Kubernetes.

Чем вы будете заниматься

• Развитие Kubernetes-платформы (EKS) для поддержки масштабируемых приложений.
• Написание и поддержка Helm-чартов для stateful-приложений, таких как Trino и ClickHouse.
• Управление ресурсами и настройка автомасштабирования с использованием HPA/VPA и Cluster Autoscaler.
• Настройка сетевых политик и Ingress для обеспечения безопасности и доступности.
• Полное описание инфраструктуры через Terragrunt, включая управление состояниями в AWS S3.
• Построение CI/CD пайплайнов через GitLab CI, включая настройку GitLab Runners на Kubernetes.
• Настройка сбора метрик через Prometheus и визуализация в Grafana для мониторинга инфраструктуры.
• Поддержка кластеров Trino и Spark, обеспечение их взаимодействия с S3 и базами данных.

Требования

• Опыт работы с Kubernetes на экспертном уровне, включая написание собственных Helm-чартов.
• Глубокое понимание IaC и опыт работы с Terragrunt.
• Опыт настройки CI/CD пайплайнов с использованием GitLab CI.
• Знание AWS, включая IAM и сетевое взаимодействие.
• Опыт эксплуатации Big Data стека, включая Trino и Spark.
• Опыт работы с NoSQL базами данных, такими как ScyllaDB и Solr.
• Понимание процессов MLOps и опыт работы с ML-инфраструктурой.
• Опыт работы с Apache Iceberg и архитектурой Data Lake.

Будет плюсом

• Опыт работы с GitOps инструментами, такими как ArgoCD.
• Знание принципов работы с Airflow на Kubernetes.
• Опыт работы с системами мониторинга и алертинга.

Что мы предлагаем

• Конкурентоспособная зарплата и возможность удалённой работы.
• Доступ к современным технологиям и инструментам.
• Возможности для профессионального роста и обучения.
• Гибкий график работы и поддержка баланса между работой и личной жизнью.
• Участие в интересных проектах с использованием передовых технологий.