Senior Data Engineer — Apache Spark и ETL-пайплайны@ CINIMEX

О позиции

Компания Cinimex, разработчик ПО и системный интегратор, ищет Senior Data Engineer для работы в офисах в Москве, Санкт-Петербурге и Нижнем Новгороде. Ваша задача будет заключаться в проектировании и разработке потоков данных, а также оптимизации ETL-пайплайнов. Мы ищем специалиста с глубоким опытом работы с Apache Spark и ClickHouse.

Чем вы будете заниматься

• Оптимизация джобов Apache Spark, работа с широкими и узкими зависимостями, настройка памяти и shuffle-операций.
• Проектирование и разработка потоков данных, алгоритмов загрузки и обработки данных.
• Оптимизация ETL-пайплайнов и SQL кода.
• Работа с ClickHouse и Hadoop (HDFS, Hive).
• Продвинутые знания SQL и готовность осваивать Java для использования Spark.

Требования

• Глубокий экспертный опыт работы с Apache Spark от 4-5 лет.
• Опыт работы с ClickHouse.
• Опыт работы с Hadoop (HDFS, Hive).
• Продвинутые знания SQL.
• Готовность осваивать Java для использования Spark.

Что мы предлагаем

• Конкурентоспособная зарплата от 270 000 до 300 000 ₽ в месяц.
• Работа в дружной команде профессионалов.
• Возможности для профессионального роста и развития.
• Современный офис в центре города.
• Гибкий график работы.