Senior Data Engineer — архитектура Lakehouse и DWH

Что за роль

Senior Data Engineer будет заниматься проектированием и построением end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric. Основная задача — реализация многоуровневой архитектуры хранения данных по модели Medallion на основе Delta Lake.

Чем вы будете заниматься

• Проектирование и построение архитектуры Lakehouse / DWH.
• Создание и поддержка ETL/ELT-пайплайнов с использованием Azure Data Factory.
• Оптимизация высокопроизводительного распределённого кода на PySpark для обработки больших данных.
• Проектирование реляционных моделей данных и аналитических представлений в Synapse Data Warehouse.
• Настройка процессов CI/CD с использованием Azure DevOps.

Требования

• Опыт работы с Microsoft Fabric, Apache Spark / PySpark, Azure Data Factory.
• Знание Python и SQL / T-SQL.
• Опыт работы с архитектурой Lakehouse и DWH.
• Знание DevOps инструментов: Git, Azure DevOps, Docker.
• Английский язык на уровне В2+.