AWS Data Lake Modernization — облачные решения и автоматизация@ CloudWithBhishm

Что за роль

Ищем специалиста для модернизации платформы AWS Data Lake и автоматизации процессов загрузки данных. Вы будете разрабатывать облачные решения для обработки данных и интеграции новых источников.

Чем вы будете заниматься

• Разработка облачных решений для загрузки данных на AWS.
• Создание событийно-ориентированных архитектур с использованием Amazon S3, AWS Lambda и Amazon SQS.
• Разработка и улучшение ETL-заданий AWS Glue с использованием PySpark.
• Реализация процессов обработки данных с использованием таблиц Apache Iceberg на Amazon S3.
• Создание и управление определениями таблиц Iceberg и SQL-скриптами для аналитических задач.
• Настройка уведомлений S3, триггеров Lambda и очередей SQS для интеграции сервисов.
• Проведение тестирования и мониторинга AWS-пайплайнов данных.
• Сотрудничество с архитекторами и командами разработки для расширения возможностей Data Lake.
• Подготовка технической документации и материалов для передачи знаний.

Требования

• Опыт работы с AWS Lambda, PySpark, Amazon S3, ETL, Amazon Web Services.
• Знания в области обработки больших данных и Hadoop.
• Опыт работы с MySQL и облачными вычислениями.

Что мы предлагаем

• Гибкий график работы и возможность удалённой работы.
• Конкурентная оплата труда.