О позиции
В данный момент мы ищем Data Engineer для присоединения к нашей команде в компании Top Selection. Эта позиция Data Engineer предлагает возможность работать с современными технологиями и участвовать в интересных проектах.
Чем вы будете заниматься
- Анализ источников данных для последующей интеграции;
- Коммуникация с заказчиками для выяснения детальных требований;
- Создание прототипов витрин для пользовательских отчетов;
- Описание объектов в каталоге данных и составление документации в Confluence;
- Формирование требований к качеству данных (DQ проверки);
- Приемка разработанных DE объектов согласно критериям, описанным в бизнес-требованиях.
Требования
- Уверенное владение экосистемой Hadoop и фреймворком PySpark;
- Глубокие знания языка SQL;
- Опыт настройки и администрирования планировщика задач Airflow;
- Уверенное владение языком Python;
- Понимание модели данных Data Vault;
- Навыки работы с системой Git.
Что мы предлагаем
- Конкурентоспособная зарплата от 260.000 до 280.000 рублей;
- Полная занятость и оформление как ИП;
- Возможность удалённой работы;
- Работа в дружной команде профессионалов;
- Интересные проекты и возможность профессионального роста.
Вакансия предлагает хорошую зарплату и возможность удалённой работы. Однако, описание вакансии могло бы быть более детализированным.
Кто здесь добьётся успеха
Глубокие знания в Hadoop и PySpark для эффективной обработки больших данных и оптимизации рабочих процессов.
Способность к самостоятельной работе в удаленном режиме, включая высокую организованность и дисциплину в управлении временем и задачами.
Опыт разработки ETL-процессов с использованием Airflow, что позволяет эффективно автоматизировать и контролировать потоки данных.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости AI/Big Data
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев