О позиции
Вакансия предназначена для Junior Big Data Engineer, который будет заниматься разработкой и поддержкой пайплайнов обработки больших данных. Основные технологии, с которыми предстоит работать, включают Spark и Hadoop. Вы будете взаимодействовать с распределёнными системами хранения, такими как HDFS и S3, а также писать ETL-процессы на языках Python и Scala.
Чем вы будете заниматься
- Разработка и поддержка пайплайнов обработки больших данных с использованием Spark и Hadoop.
- Работа с распределёнными системами хранения данных, такими как HDFS и S3.
- Написание ETL-процессов на Python и Scala.
Требования
- Знание Python и Scala.
- Основы SQL.
- Понимание распределённых систем.
- Опыт работы с Spark будет плюсом.
Что мы предлагаем
- Удалённая работа с гибким графиком.
- Заработная плата в диапазоне 100 000 – 150 000 ₽.
Вакансия предлагает хорошие условия для начинающего специалиста в области больших данных. Однако, описание вакансии могло бы быть более детализированным.
Кто здесь добьётся успеха
Глубокие знания в Python и Scala для разработки ETL-процессов, а также опыт работы с библиотеками Spark.
Способность самостоятельно решать проблемы и адаптироваться к изменениям, что важно в условиях удаленной работы.
Опыт работы с распределёнными системами хранения данных, такими как HDFS и S3, для эффективной обработки больших объемов данных.
Аналитический склад ума и внимание к деталям, что позволяет точно разрабатывать и поддерживать пайплайны обработки данных.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Data Engineering
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев