Engineer (Middle) в команду данных Астана | Офис | ⏳ Полная занятость Строим
О позиции
В команду данных требуется Data Engineer уровня Middle. Мы строим централизованную платформу данных, которая будет интегрировать десятки систем-источников и обрабатывать десятки терабайт информации. Ваша работа будет сосредоточена на разработке и сопровождении ETL/ELT-конвейеров загрузки данных, а также на развитии слоёв хранилища данных: Bronze, Silver и Gold.
Чем вы будете заниматься
- Разработка и сопровождение ETL/ELT-конвейеров загрузки данных.
- Развитие слоёв хранилища данных: Bronze, Silver, Gold.
- Моделирование данных и сборка витрин под задачи потребителей.
- Контроль качества данных и мониторинг загрузок.
- Оптимизация запросов и хранения данных.
Требования
- Опыт от 2 лет в Data Engineering.
- Уверенное знание SQL.
- Опыт работы с Python.
- Знание Airflow или другого оркестратора.
- Опыт работы с Git и Docker.
- Понимание принципов работы хранилищ данных и их слоёв.
Будет плюсом
- Знание Iceberg, Trino, Spark, dbt.
- Опыт работы с ClickHouse и PostgreSQL.
- Знание Kubernetes и CI/CD.
- Опыт работы с Data Vault и медальонной архитектурой.
- Опыт работы с большими объёмами данных.
Что мы предлагаем
- Масштабные задачи на реальных объёмах данных.
- Современный стек технологий: Iceberg, Trino, Airflow, dbt, Spark, ClickHouse, Kubernetes.
- Возможность влиять на архитектуру платформы.
- Официальное трудоустройство и стабильный график 5/2.
Вакансия предлагает интересные задачи и современный стек технологий, но не указана зарплата, что может быть минусом для некоторых кандидатов.
Кто здесь добьётся успеха
Глубокие знания SQL и Python для разработки ETL/ELT-конвейеров с использованием таких технологий, как Airflow и Spark.
Способность работать в офисе в гибкой команде, которая активно взаимодействует для решения сложных задач по интеграции данных.
Опыт работы с системами управления версиями, такими как Git, и контейнеризацией с использованием Docker для обеспечения надежности и воспроизводимости процессов.
Мышление, ориентированное на данные, с пониманием архитектур хранилищ данных, в частности Bronze, Silver и Gold слоев, а также опыт работы с Clickhouse и PostgreSQL.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Data Engineering
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев