Middle Data Engineer — оптимизация пайплайнов в GreenPlum/Hive@ Omega Solutions

О позиции

Компания Omega Solutions ищет Middle Data Engineer (Java) для работы над проектом оптимизации текущих пайплайнов в GreenPlum/Hive. Ваша задача будет заключаться в интеграции данных в S3 и разработке новой витрины в ClickHouse. Это отличная возможность для тех, кто хочет развиваться в области обработки больших данных и ETL.

Чем вы будете заниматься

• Разработка и поддержка ETL-процессов и интеграций.
• Оптимизация пайплайнов и витрин данных.
• Внедрение инженерных практик: CI/CD, code review.
• Решение сложных технических задач и развитие архитектуры.

Требования

• Опыт работы с Java и Groovy, понимание принципов ООП.
• Знание Hadoop, Hive, HDFS, DWH/DataLake.
• Уверенные навыки работы с SQL и оптимизацией запросов.
• Опыт работы с ETL-инструментами: Airflow, NiFi, Talend и др.
• Знание Docker, Rancher, Git.
• Опыт работы с Big Data-интеграциями.
• Знание Linux/Unix, Spark, Yarn, Ranger, Zookeeper, Ansible, Zabbix.

Будет плюсом

• Опыт работы в команде над крупными проектами.
• Знание других языков программирования.
• Опыт работы с облачными решениями.

Что мы предлагаем

• Оформление по ИП.
• Дружелюбная атмосфера внутри компании.
• Развитие через реальные задачи, а не формальные курсы.
• Возможность предлагать идеи и видеть, как они внедряются.
• Гибкий график работы и возможность удаленной работы.
• Оплата за фактически отработанное время.
• Участие в интересных проектах без лишнего микроменеджмента.