Middle Data Engineer для оптимизации пайплайнов@ Omega Solutions

О позиции

Мы ищем Middle Data Engineer (Java) для работы над проектами в области оптимизации текущих пайплайнов в GreenPlum/Hive. Ваша задача будет заключаться в интеграции данных в S3 и разработке новой витрины в ClickHouse. Эта вакансия предлагает возможность работать удалённо из России и участвовать в интересных проектах без лишнего микроменеджмента.

Чем вы будете заниматься

• Разработка и поддержка ETL/интеграций с использованием Java и Groovy.
• Оптимизация пайплайнов и витрин данных для повышения производительности.
• Реализация инженерных практик, таких как CI/CD и code review.
• Решение сложных технических задач и развитие архитектуры данных.
• Работа с инструментами для обработки больших данных, такими как Hadoop, Hive и Spark.

Требования

• Опыт работы с Java и Groovy, понимание принципов ООП.
• Знание Hadoop, Hive, HDFS, DWH/DataLake.
• Умение писать SQL и оптимизировать запросы.
• Опыт работы с ETL-инструментами, такими как Airflow, NiFi или Talend.
• Знания в области контейнеризации (Docker) и систем управления версиями (Git).
• Опыт работы с Big Data-интеграциями и знание Linux/Unix.

Будет плюсом

• Знание Spark, Yarn, Ranger, Zookeeper, Ansible, Zabbix.
• Опыт работы в дружелюбной команде и желание развиваться через реальные задачи.
• Способность предлагать идеи и видеть, как они внедряются в проекты.

Что мы предлагаем

• Оформление по ИП с оплатой за фактически отработанное время.
• Гибкий график работы и возможность удалённой работы.
• Дружелюбная атмосфера внутри компании.
• Участие в интересных проектах без лишнего микроменеджмента.
• Развитие через реальные задачи, а не формальные курсы.

Если вы умеете приручать Hadoop, а ETL для вас — не набор букв, а стиль жизни, откликайтесь на эту вакансию!