Data Engineer — разработка пайплайнов обработки данных@ Mars

О позиции

Компания Марс, один из мировых лидеров в области FMCG, ищет Data Engineer для разработки и оптимизации пайплайнов обработки данных. Ваша задача будет заключаться в создании эффективных решений для обработки больших объемов данных, что позволит компании улучшить свои бизнес-процессы и повысить качество обслуживания клиентов.

Чем вы будете заниматься

• Разработка пайплайнов обработки данных в Apache Airflow.
• Оптимизация приложений на Apache Spark для повышения производительности.
• Работа с Hadoop (Apache Spark, HDFS, YARN и др.) для обработки больших данных.
• Создание и поддержка хранилищ данных, а также работа с СУБД.
• Использование SQL и Python/Scala/Java для разработки аналитических решений.

Требования

• Опыт разработки пайплайнов обработки данных в Apache Airflow.
• Опыт оптимизации приложений на Apache Spark.
• Понимание работы СУБД и принципов построения хранилищ данных.
• Опыт работы с Hadoop (Apache Spark, HDFS, YARN и др.).
• Уверенное владение SQL, Python/Scala/Java.

Будет плюсом

• Знание других языков программирования.
• Опыт работы с облачными решениями.
• Навыки работы с инструментами визуализации данных.

Что мы предлагаем

• Конкурентная заработная плата в зависимости от опыта.
• Гибридный формат работы: возможность работать как из офиса, так и удаленно.
• ДМС и другие социальные гарантии.
• Возможности для профессионального роста и развития.
• Работа в команде профессионалов в области данных.