Senior Data Engineer@ RedLab

Что за роль

Компания RedLab ищет Senior Data Engineer для проектирования и разработки масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных.

Чем вы будете заниматься

• Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных.
• Разработка и оптимизация batch- и streaming-пайплайнов.
• Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных.
• Оптимизация производительности процессов обработки данных и SQL-запросов.
• Обеспечение качества данных: реализация механизмов валидации и контроля полноты данных.
• Подготовка технической документации и архитектурных артефактов.
• Проведение код-ревью и техническое менторство.

Требования

• Опыт работы Data Engineer от 5 лет.
• Знание методологии Data Vault 2.0.
• Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов.
• Отличное знание SQL и опыт оптимизации сложных запросов.
• Опыт проектирования и разработки Data Warehouse, Data Lake или Lakehouse решений.
• Практический опыт работы с Apache Spark.
• Опыт работы с Apache Airflow, Apache Kafka.
• Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro.
• Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum).
• Уверенное владение Git и понимание процессов CI/CD.
• Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги).
• Понимание принципов построения отказоустойчивых и масштабируемых решений.
• Опыт использования dbt для построения трансформационных слоев данных.
• Практика внедрения Data Quality решений.
• Опыт работы с Data Catalog и Data Governance инструментами.

Что мы предлагаем

• Заработная плата: 350 000 - 380 000 RUB (гросс), оформление по ГПХ.
• Удалённый формат работы.