О позиции
Мы ищем Middle Data Engineer для долгосрочного проекта в области ритейла. Эта позиция предлагает возможность работать с современными технологиями и участвовать в разработке решений для обработки больших данных. Вы будете частью команды, работающей с такими инструментами, как Greenplum, Trino и Apache Airflow, и сможете влиять на архитектуру платформы данных.
Чем вы будете заниматься
- Сбор и анализ требований от бизнес-заказчиков.
- Разработка и поддержка интеграционных потоков и витрин данных.
- Работа со стеком: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink.
- Поддержка и развитие решений платформы больших данных.
- Оперативное решение инцидентов в зоне ответственности.
- Ведение и актуализация документации.
- Подготовка отчетности по задачам и активности.
Требования
- Понимание архитектуры Lakehouse / Big Data.
- Понимание различий работы с Big Data и классическими хранилищами данных.
- Уверенный SQL: оптимизация, индексы, профилирование производительности.
- Опыт разработки на Python и/или Java.
- Опыт работы с реляционными БД (Oracle / PostgreSQL / MySQL / MSSQL).
- Опыт работы с Git.
- Практический опыт со Spark.
- Опыт работы с DBT, Cosmos, NiFi.
- Понимание особенностей Trino.
- Работа с форматами данных Iceberg / Parquet / Avro.
- Опыт работы с S3-совместимыми хранилищами (MinIO и др.).
- Опыт использования систем ведения проектов и документации.
Будет плюсом
- Опыт работы с Kafka.
- Знание английского языка на техническом уровне.
- Опыт работы в ритейле.
Что мы предлагаем
- Конкурентная зарплата, обсуждаемая на собеседовании.
- Гибкий график работы.
- Удалённая работа из любой точки мира.
- Возможности для профессионального роста и развития.
- Работа в дружной команде профессионалов.
- Современные инструменты и технологии.
Вакансия предлагает интересные условия для Middle Data Engineer, работающего в области ритейла. Указаны современные технологии и возможности для роста. Однако, отсутствие конкретной информации о компании и зарплате может вызывать вопросы.
Кто здесь добьётся успеха
Глубокие знания в области работы с Greenplum и Clickhouse, что позволяет эффективно управлять и оптимизировать базы данных.
Способность самостоятельно организовывать рабочий процесс в удаленном режиме, включая планирование задач и управление временем.
Опыт работы с ETL-процессами, используя Apache Airflow и Spark, для автоматизации обработки больших данных и интеграции данных из различных источников.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Retail
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев