Data Engineer — работа с Trino и Spark@ Wildberries

О позиции

Компания Wildberries ищет Data Engineer для работы с корпоративным хранилищем. Ваша задача будет заключаться в обеспечении стабильной, производительной и безопасной работы Data Platform на базе Trino, Spark, S3 и Apache Iceberg. Вы будете заниматься администрированием и управлением ролевой моделью доступа, а также документированием изменений в проекте.

Чем вы будете заниматься

• Обеспечение стабильной работы Data Platform на базе Trino, Spark, S3 и Apache Iceberg.
• Настройка, обновление, мониторинг и тюнинг кластеров Trino.
• Настройка коннекторов (Iceberg, S3).
• Оптимизация производительности запросов (resource groups, query analysis).
• Оптимизация производительности Iceberg (partitioning, clustering, metadata management).
• Разработка и внедрение централизованных ролевых моделей для доступа к данным и ресурсам платформы.

Требования

• Понимание взаимодействия Spark с Iceberg и S3.
• Опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore).
• Знание и применение: compaction, expiration snapshots, time travel, schema evolution.
• Навыки Linux, Bash, Python для автоматизации.
• Опыт управления политиками доступа и правами доступа через Ranger в S3 и Iceberg.
• Опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы.
• Опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg).

Что мы предлагаем

• Конкурентная зарплата от 300 000 до 500 000 ₽ в месяц.
• Удалённая работа с гибким графиком.
• Возможности для профессионального роста и развития.
• Доступ к современным технологиям и инструментам.
• Работа в команде профессионалов.
• Бонусы и дополнительные выплаты по результатам работы.