Middle Data Engineer (Hadoop)@ TopSelection

О позиции

Мы ищем Middle Data Engineer для работы над проектом в крупном банке. Ваша роль будет заключаться в переносе данных из Hive в облачный кластер и обеспечении их доступности в реальном времени через REST и Kafka. Это отличная возможность для тех, кто хочет развиваться в области обработки данных и работы с современными технологиями.

Чем вы будете заниматься

• Строить пайплайны репликации данных (Hive -> Hive).
• Индексировать данные для быстрого доступа и обработки.
• Интегрировать обработку данных через брокеры сообщений (Kafka / IBM MQ).
• Работать с экосистемой Hadoop, включая Solr, Hive, HBase, Spark и ZooKeeper.
• Участвовать в разработке и поддержке CI/CD процессов.

Требования

• Опыт работы с Java Core (циклы, коллекции, условия).
• Знание Linux (базовый уровень), Ansible, SQL и Git.
• Умение работать с форматами XML, JSON, YAML, XSLT.
• Базовые знания экосистемы Hadoop.
• Чтение документации на английском языке.

Будет плюсом

• Опыт работы с CI/CD.
• Знание дополнительных инструментов для обработки данных.

Что мы предлагаем

• Удаленная работа с гибким графиком (МСК ±2).
• Полная занятость на долгосрочном проекте.
• Конкурентоспособная зарплата от 150 до 170 тысяч рублей в месяц.
• Оформление по договору ИП.
• Возможности для профессионального роста и обучения.