Data Engineer (Python) — разработка data lakehouse@ EvApps

О позиции

Мы ищем Data Engineer для разработки data lakehouse решения для заказчика. Эта позиция Data Engineer предлагает возможность работать над интересными проектами, связанными с обработкой больших данных и оптимизацией ETL-пайплайнов.

Чем вы будете заниматься

• Разрабатывать и оптимизировать ETL-пайплайны для обработки данных.
• Обрабатывать и трансформировать XML-данные с использованием Python.
• Строить raw-слой (Parquet в S3) и витрины данных.
• Реализовывать нормализацию, дедупликацию и формирование "золотых" записей.
• Обеспечивать производительность обработки данных и готовить решения к переносу в закрытый контур заказчика.
• Взаимодействовать с аналитиками, архитектором, DevOps и командой проекта.

Требования

• Опыт работы Data Engineer от 3 лет.
• Опыт построения ETL/ELT пайплайнов в продакшн.
• Работа с большими объемами данных.
• Уверенное владение Python и опыт обработки данных (pandas, PySpark или аналоги).
• Опыт работы с XML (lxml, ElementTree или аналоги).
• Понимание форматов хранения данных (Parquet, columnar storage).
• Опыт работы с S3 или аналогичными хранилищами.
• Понимание архитектуры data lake / lakehouse и multi-layer подход.
• Опыт работы с реляционными БД (PostgreSQL, Greenplum, ClickHouse или аналоги) и SQL.
• Опыт работы с Airflow или аналогами, Docker и CI/CD.
• Опыт работы с облаками (Yandex Cloud, AWS, GCP).
• Работа с Git.

Будет плюсом

• Опыт работы со Spark, Hadoop.
• Опыт работы с Delta Lake, Iceberg, Hudi.

Что мы предлагаем

• Конкурентная зарплата до 200 000 ₽ на руки.
• Полная занятость и возможность удаленной работы.
• Работа над интересными проектами в области обработки данных.
• Доступ к современным технологиям и инструментам.
• Возможность профессионального роста и развития.