Разработчик Flink — проектирование потоковых пайплайнов

О позиции

Мы ищем Разработчика Flink для участия в развитии современной Data Platform. Ваша задача будет заключаться в проектировании потоковых пайплайнов и построении Data Lake-архитектуры. Эта роль предполагает работу с передовыми технологиями и участие в интересных проектах, связанных с обработкой данных в реальном времени.

Чем вы будете заниматься

• Проектирование, разработка и сопровождение стриминговых пайплайнов.
• Реализация бизнес-логики и трансформаций данных во Flink, Spark и Java.
• Построение и сопровождение потоковой обработки данных от источника до витрин.
• Инкрементальная загрузка и публикация витрин данных через dbt, Trino и Iceberg.
• Проектирование структуры хранения и партиционирования данных в Data Lake.
• Работа с колоночными форматами хранения данных и снапшотами.
• Реализация надёжных механизмов доставки данных, обеспечение идемпотентности и обработки дубликатов.
• Документирование архитектурных решений и участие в развитии платформы.

Требования

• Опыт работы со стриминговыми решениями либо сильная мотивация развиваться в направлении Streaming Data.
• Практический опыт работы со стеком: Flink, Spark, Kafka, ClickHouse.
• Понимание концепций и форматов Data Lake: Iceberg, Parquet, ORC, снапшоты, инкрементальная обработка данных.
• Опыт реализации потоков данных вида Kafka → обработка → S3/Iceberg.
• Понимание архитектуры потоковых данных и жизненного цикла данных от события до аналитической витрины.
• Опыт проектирования и разработки высоконагруженных data pipelines.
• Готовность участвовать в архитектурных обсуждениях и развитии платформы.

Будет плюсом

• Опыт работы с Trino, dbt и аналитическими витринами данных.
• Опыт проектирования современных Lakehouse-решений.
• Знание принципов Data Engineering и построения Data Platform.
• Опыт работы с большими объёмами данных.

Личные качества

• Системное мышление.
• Инициативность и самостоятельность.
• Готовность предлагать архитектурные решения.
• Желание изучать новые технологии и подходы.

Что мы предлагаем

• Конкурентная зарплата в зависимости от опыта.
• Гибкий график работы и возможность работать удалённо.
• Доступ к обучающим ресурсам и курсам.
• Участие в интересных проектах с использованием современных технологий.
• Дружелюбная команда и поддержка в развитии.