Middle Data Engineer для разработки корпоративной дата-платформы@ 2ГИС

О позиции

Мы ищем двух Middle Data Engineer’ов для присоединения к командам SMT и Holocron в 2ГИС. Эта позиция предлагает возможность работать над новой корпоративной дата-платформой, где вы сможете не только поддерживать существующие решения, но и активно участвовать в проектировании и строительстве новой инфраструктуры для данных. Вы будете работать в команде, которая стремится уйти от легаси и создать архитектуру, которая будет использоваться десятками команд внутри компании.

Чем вы будете заниматься

• Разработка ETL/ELT процессов и пайплайнов для обработки данных.
• Работа с highload Kafka-топиками для обеспечения надежной передачи данных.
• Миграция данных с Hadoop/HDFS на новую платформу.
• Создание OLAP и BI решений для анализа больших объемов данных.
• Участие в архитектурных решениях и развитии платформы.
• Работа с большими объемами данных, что позволит вам применять свои навыки в реальных задачах.

Требования

• Опыт работы с Spark, Kafka, ClickHouse, S3.
• Знание Python или Scala, а также SQL.
• Способность работать с высоконагруженными системами и большими объемами данных.
• Опыт разработки ETL/ELT процессов.
• Понимание архитектурных решений в области data engineering.

Будет плюсом

• Опыт работы с BI инструментами.
• Знание других языков программирования.
• Опыт работы в команде над крупными проектами.

Что мы предлагаем

• Конкурентная зарплата и возможность удаленной работы.
• Участие в интересных проектах и возможность влиять на технические решения.
• Доступ к современным технологиям и инструментам.
• Дружелюбная команда и поддержка в профессиональном росте.
• Гибкий график работы.