DevOps Engineer — Data Platform & OT Integration@ ДИЭНЭЙ

О позиции

Компания ДИЭНЭЙ, работающая над проектом для табачной компании, ищет DevOps Engineer для работы над платформой Data Ocean (Lakehouse/Streamhouse) и интеграцией с производственными OT-системами. Ваша задача будет заключаться в развертывании инфраструктуры в изолированных контурах и интеграции с промышленными системами, такими как OPC UA и MQTT.

Чем вы будете заниматься

• Построение Data-платформы и администрирование компонентов Lakehouse/Streamhouse, включая Apache Iceberg, Apache Paimon, MinIO (S3), Apache Spark, Apache Flink и StarRocks/Trino.
• Интеграция с OT-системами, настройка шлюзов для сбора данных с промышленных датчиков и контроллеров, обеспечение надежной доставки данных в Kafka.
• Настройка процессов Change Data Capture (CDC) и ETL для синхронизации данных из ERP/CRM систем с использованием Debezium и Kafka Connect.
• Управление кластерами Kubernetes, разработка Helm-чартов и настройка GitOps-процессов.
• Построение пайплайнов CI/CD для Data-инфраструктуры и автоматизация тестирования конфигураций.
• Организация локальных репозиториев и настройка прокси-серверов для работы в изолированных средах.
• Интеграция с HashiCorp Vault для управления секретами и настройка мониторинга с использованием Prometheus и Grafana для Big Data-компонентов.

Требования

• Опыт работы от 5 лет в роли DevOps SRE.
• Глубокое понимание архитектуры Kubernetes, включая Pods, Deployments, StatefulSets и Network Policies.
• Опыт запуска Big Data-задач (Spark/Flink) в Kubernetes через Operators.
• Практический опыт работы с Apache Spark, Apache Flink и Apache Kafka.
• Понимание принципов работы Apache Iceberg или Apache Paimon.
• Опыт работы с S3-совместимыми хранилищами (MinIO).
• Опыт построения пайплайнов в Jenkins и знание Terraform и Ansible.
• Уверенное знание Linux, администрирование и диагностика, а также скриптинг на Bash/Python.
• Понимание сетевых протоколов (TCP/IP, HTTP, TLS).
• Опыт настройки мониторинга для распределенных систем (Prometheus, Grafana).
• Знание Git и опыт работы с GitLab/Jira/Confluence.
• Уровень чтения технической документации на английском (B1+).

Будет большим плюсом

• Опыт работы с Apache StarRocks или Trino.
• Опыт настройки CDC (Debezium) и работы с Kafka Connect.
• Опыт работы в изолированных (Air-Gapped) средах.
• Знание протоколов промышленной автоматизации (OPC UA, MQTT).
• Опыт работы с Apache Airflow.