DevOps-инженер

О позиции

Мы ищем DevOps Engineer (с фокусом на данные) для укрепления нашей команды Data Engineering. Эта роль заключается в создании и поддержании надежной, масштабируемой и наблюдаемой инфраструктуры данных, которая поддерживает наши системы торговых исследований и производства.

Чем вы будете заниматься

• Проектирование, реализация и поддержка инструментов DevOps для конвейеров данных и платформ данных.
• Поддержка и автоматизация ETL рабочих процессов (например, Spark, Airflow).
• Создание и управление мониторингом и наблюдаемостью для качества данных (DBT), конвейеров данных и систем хранения.
• Реализация и поддержка инфраструктуры хранения данных на AWS (S3, EC2, сеть).
• Интеграция и поддержка Project Nessie как транзакционного каталога для Data Lakes с семантикой, похожей на Git.
• Тесное сотрудничество с Data Engineers для обеспечения плавного развертывания, версионирования и масштабирования рабочих мест и конвейеров данных.
• Автоматизация развертывания и процессов CI/CD с GitLab CI/CD.
• Обеспечение лучших практик безопасности для обработки конфиденциальных данных.
• Написание автоматизации инфраструктуры с использованием Python/Bash/Ansible.
• Документирование систем, конвейеров и процессов DevOps.

Требования

• 5+ лет в роли DevOps / IT Ops / DataOps с практическим опытом в инфраструктуре, связанной с данными.
• Сильные знания Linux (сеть, настройка ядра, оптимизация производительности).
• Практический опыт с Airflow, ClickHouse, DBT, Spark и Project Nessie.
• Хорошие знания сервисов AWS (S3, EC2, IAM, сеть).
• Умение в скриптах и автоматизации (Python, Bash, Ansible).
• Опыт работы с CI/CD конвейерами (GitLab).
• Опыт работы с мониторинговыми стеком (Prometheus, Grafana, ELK).
• Знание контейнеризации и оркестрации (Docker, Kubernetes).
• Понимание концепций управления данными.
• Сильные коммуникативные навыки и проактивный подход к работе.

Будет плюсом

• Опыт работы с потоковой передачей данных в реальном времени.
• Знание инфраструктуры как кода (Terraform).
• Знание безопасности в области обработки данных (IAM, шифрование, контроль доступа).
• Опыт работы в высокопроизводительных системах или торговых средах.