Дата-инженер — ETL-процессы и оптимизация запросов@ VK

О позиции

Компания VK Tech ищет Дата-инженера для разработки и поддержки ETL/ELT-процессов. Вы будете работать с Python и Airflow, оптимизируя запросы и распределённые вычисления под ClickHouse и YT. Ваша задача будет заключаться в мониторинге состояния ETL-процессов и обеспечении их надёжности и наблюдаемости.

Чем вы будете заниматься

• Разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow.
• Оптимизировать запросы и распределённые вычисления под ClickHouse и YT.
• Мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость.
• Помогать аналитикам с оптимизацией их SQL-запросов и структур данных.
• Проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD).
• Участвовать в миграции вычислительной платформы с YT на Hadoop/Spark.

Требования

• Опыт разработки и поддержки ETL-процессов на Python + Airflow.
• Уверенное знание SQL (JOIN, оконные функции, CTE, агрегации).
• Понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds.
• Опыт оптимизации запросов в распределённых системах (ClickHouse или Spark).
• Знание Git (ветки, коммиты, pull requests, code review).
• Умение читать и анализировать чужой код.

Что мы предлагаем

• Конкурентная заработная плата.
• Возможность работать удалённо или в офисе.
• ДМС и другие социальные гарантии.
• Бюджет на обучение и развитие.
• Динамичная команда профессионалов.
• Участие в интересных проектах и возможность влиять на продукт.