Senior Data Engineer — Lakehouse и Apache Iceberg@ Флаувау

О позиции

Флаувау — международный маркетплейс подарков, который ищет Senior Data Engineer удалённо. Ваша задача будет заключаться в разработке и поддержке высоконагруженных систем обработки данных, а также в проектировании архитектуры данных с использованием современных технологий.

Чем вы будете заниматься

• Разработка и оптимизация систем обработки данных с использованием Lakehouse и Apache Iceberg.
• Проектирование API и работа с Python на уровне senior, включая ООП, типизацию и тестирование.
• Использование Trino или других MPP для распределённого выполнения запросов и оптимизации.
• Глубокая работа с Airflow: настройка scheduler, executors и создание собственных операторов.
• Работа с Spark, включая PySpark и Spark SQL для обработки больших объёмов данных.
• Оптимизация SQL-запросов с использованием оконных функций и CTE.
• Участие в CI/CD процессах с использованием Git.

Требования

• 5+ лет опыта в data engineering или backend с акцентом на данные.
• Глубокое понимание принципов работы Lakehouse и DWH.
• Опыт работы с Apache Iceberg или аналогичными технологиями.
• Знание Trino или других MPP систем.
• Опыт работы с Airflow на глубоком уровне.
• Уверенные навыки работы с Spark и SQL.
• Опыт работы с Git и CI/CD.

Будет плюсом

• Опыт работы в международных проектах.
• Знание других языков программирования.
• Опыт работы с облачными решениями.

Что мы предлагаем

• Конкурентная зарплата от 300 000 до 500 000 ₽ в месяц.
• Полностью удалённая работа с гибким графиком.
• ДМС и другие социальные гарантии.
• Бюджет на обучение и развитие.
• Участие в интересных и масштабных проектах.