О позиции
Это hands-on роль инженера данных в рамках инициативы по построению data-infrastructure в крупном предприятии. Ожидается самостоятельная ответственность за полный цикл AWS-пайплайнов и доставку готовых для потребления наборов данных.
Чем вы будете заниматься
- Стримить и обрабатывать данные из мейнфреймов и legacy-систем, загружая их в AWS S3.
- Проектировать и реализовывать ETL/ELT-флоу с помощью AWS Glue.
- Проводить сверки данных, проверки качества и валидацию.
- Кураторство и трансформация данных, поставка чистых датасетов в AWS Aurora / RDS (PostgreSQL).
- Управлять хранением в S3: политики хранения, архивирование и lifecycle-правила.
- Автоматизировать обработки и деплой через GitHub и GitHub Actions CI/CD.
Требования
- 5+ лет опыта в Data Engineering с реализацией пайплайнов и ETL/ELT.
- Практический опыт AWS Glue в продакшене.
- Уверенные знания AWS (S3, RDS/Aurora, Glue).
- Опыт построения стриминг-пайплайнов с Kafka.
- Опыт реализации проверок качества данных и процессов reconciliation.
- Владение GitHub и GitHub Actions для автоматизации CI/CD.
Будет плюсом
- Опыт работы с данными из мейнфреймов или интеграции legacy-систем.
- Знание MongoDB или других NoSQL баз.
Что мы предлагаем
- Оплата $65/hr на W2.
- Полная удалённая занятость.
Кто здесь добьётся успеха
Глубокие знания AWS Glue и S3 для проектирования эффективных ETL/ELT-процессов, а также опыт работы с Aurora/RDS и PostgreSQL для управления данными.
Способность работать самостоятельно в удаленном режиме, эффективно организуя свое время и приоритизируя задачи для обеспечения своевременной доставки проектов.
Опыт работы с Kafka для обработки потоковых данных и понимание NoSQL технологий, таких как MongoDB, для интеграции различных источников данных.
Сильные навыки в использовании GitHub и GitHub Actions для автоматизации процессов разработки и развертывания, что позволяет поддерживать высокое качество кода.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Data Infrastructure
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев