Databricks Data Engineer — проектирование и разработка платформ@ EY

О позиции

Компания EY ищет Databricks Data Engineer для работы в своей консультационной практике в Никосии, Кипр. Роль включает проектирование, внедрение и разработку современных платформ lakehouse для клиентов на Кипре и международных рынках.

Чем вы будете заниматься

• Проектирование, разработка и поддержка масштабируемых данных и архитектур lakehouse с использованием Databricks.
• Разработка и оптимизация ETL/ELT процессов на основе Spark с использованием PySpark и/или Scala.
• Работа с Delta Lake, включая бронзовые, серебряные и золотые уровни, эволюцию схем, партиционирование, временные перемещения и транзакции ACID.
• Создание потоков загрузки из реляционных баз данных, файлов, API и источников потоковых или почти реальных данных.
• Создание курируемых моделей данных для аналитики, отчетности, BI и науки о данных.
• Работа с блокнотами Databricks, заданиями/рабочими процессами, библиотеками, системой контроля версий, тестированием и развертыванием.
• Оптимизация Spark задач путем улучшения соединений, партиционирования, размеров файлов, кэширования, конфигурации кластера и планов выполнения запросов.
• Реализация контроля качества данных, проверки, согласования и мониторинга.
• Сотрудничество с архитекторами данных, аналитиками, учеными данных и бизнес-стейкхолдерами.
• Участие в код-ревью, документации, стандартах платформы и инженерном управлении.

Требования

• Степень бакалавра и/или магистра в области компьютерных наук, инженерии, математики или смежной области.
• 3–5 лет опыта в области инженерии данных, аналитической инженерии или смежной области.
• Практический опыт работы с Databricks, включая блокноты, задания/рабочие процессы, кластеры и Delta Lake.
• Опыт проектирования архитектур медальонов и разделения сырых, очищенных и готовых к бизнесу уровней данных.
• Сильные знания Apache Spark и распределенной обработки данных.
• Практический опыт работы с PySpark и/или Scala.
• Способность писать, анализировать и оптимизировать код PySpark для обработки больших данных.
• Понимание Databricks Jobs/Workflows или аналогичных паттернов оркестрации.
• Понимание оптимизации производительности Spark.
• Знания Unity Catalog или аналогичных подходов к управлению данными, контролю доступа и отслеживанию.
• Сильные навыки SQL и опыт работы с SQL Server, Oracle или PostgreSQL.
• Понимание моделирования lakehouse и хранилищ данных, включая звездные схемы, модели фактов/измерений и медленно изменяющиеся измерения.
• Опыт разработки ETL/ELT процессов производственного уровня с ведением журналов, обработкой ошибок, мониторингом и документацией.
• Знакомство с облачными средами данных, предпочтительно Azure.
• Опыт работы с Parquet, Delta, CSV, JSON и XML.
• Сильные аналитические и диагностические навыки, особенно в области производительности и качества данных.
• Хорошие коммуникативные навыки и способность работать в межфункциональных консультационных командах.

Что мы предлагаем

• 13-я зарплата.
• Фонд пенсионного обеспечения.
• Частная медицинская и страхование жизни.
• Гибридный режим работы и гибкий график.
• Выходные в пятницу после обеда.
• Программы EY Tech MBA и EY MSc в области бизнес-аналитики.
• EY Badges — цифровые сертификаты обучения.
• Программы мобильности.
• Оплачиваемый больничный отпуск.
• Оплачиваемый отпуск по уходу за ребенком.
• Годовые дни отдыха для благополучия.
• Подарки по случаю материнства, свадьбы и рождения ребенка.
• Программа поддержки сотрудников EY.