Middle Data Engineer для проектов в ритейле

О позиции

Мы ищем Middle Data Engineer для долгосрочного проекта в области ритейла. Эта позиция предлагает возможность работать с современными технологиями и участвовать в разработке решений для обработки больших данных. Вы будете частью команды, работающей с такими инструментами, как Greenplum, Trino и Apache Airflow, и сможете влиять на архитектуру платформы данных.

Чем вы будете заниматься

• Сбор и анализ требований от бизнес-заказчиков.
• Разработка и поддержка интеграционных потоков и витрин данных.
• Работа со стеком: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink.
• Поддержка и развитие решений платформы больших данных.
• Оперативное решение инцидентов в зоне ответственности.
• Ведение и актуализация документации.
• Подготовка отчетности по задачам и активности.

Требования

• Понимание архитектуры Lakehouse / Big Data.
• Понимание различий работы с Big Data и классическими хранилищами данных.
• Уверенный SQL: оптимизация, индексы, профилирование производительности.
• Опыт разработки на Python и/или Java.
• Опыт работы с реляционными БД (Oracle / PostgreSQL / MySQL / MSSQL).
• Опыт работы с Git.
• Практический опыт со Spark.
• Опыт работы с DBT, Cosmos, NiFi.
• Понимание особенностей Trino.
• Работа с форматами данных Iceberg / Parquet / Avro.
• Опыт работы с S3-совместимыми хранилищами (MinIO и др.).
• Опыт использования систем ведения проектов и документации.

Будет плюсом

• Опыт работы с Kafka.
• Знание английского языка на техническом уровне.
• Опыт работы в ритейле.

Что мы предлагаем

• Конкурентная зарплата, обсуждаемая на собеседовании.
• Гибкий график работы.
• Удалённая работа из любой точки мира.
• Возможности для профессионального роста и развития.
• Работа в дружной команде профессионалов.
• Современные инструменты и технологии.