Data Engineer для разработки потоков данных на Flink@ X5

Что за роль

Компания X5 ищет Data Engineer для разработки потоков данных на основе Flink. Вы будете работать с архитектурой потоков данных и Java приложениями для Big Data.

Чем вы будете заниматься

• Разработка шаблонов потоков данных на основе Flink DataStream.
• Реализация архитектуры потоков данных.
• Написание и доработка Java приложений для Big Data.

Требования

• Глубокое понимание Java Core, включая ООП, многопоточность, коллекции, исключения и generics.
• Опыт разработки микросервисов и REST API с Spring Boot.
• Опыт работы с Apache Flink для потоковой обработки.
• Работа с ETL/ELT, потоковыми и batch-процессами.
• Знание принципов работы с большими данными (Spark, Dask, pandas — плюс).
• Опыт работы с PostgreSQL, ClickHouse.
• Навыки работы с CI/CD, контейнеризацией (Docker), оркестрацией (Kubernetes — плюс).
• Умение писать тесты (unit, integration).
• Опыт программирования на Python.

Будет плюсом

• Активный интерес к новым технологиям и методам разработки.
• Знание и понимание различных аспектов разработки.
• Доказанный опыт практической реализации проектов.