О позиции
Мы ищем опытного Python разработчика для работы в компании Arenadata, которая создает системы сбора, хранения и обработки больших данных на базе open source технологий. Ваша роль будет заключаться в разработке и поддержке инструментов для работы с данными, что позволит нашим клиентам эффективно управлять своими данными и получать ценные инсайты.
Чем вы будете заниматься
- Разработка и поддержка инструментов на Python для обработки больших данных.
- Работа с dbt Core: разработка и доработка адаптеров, понимание архитектуры.
- Использование стека Big Data: работа с экосистемой Apache Hadoop, Apache Spark, Trino и другими инструментами.
- Оптимизация процессов обработки данных и распределенных вычислений.
- Взаимодействие с различными СУБД для обеспечения надежного хранения данных.
Требования
- От 5 лет опыта в разработке на Python, включая опыт продуктовой разработки.
- Практический опыт работы с dbt Core и понимание его архитектуры.
- Знание стека Big Data: Apache Hadoop (HDFS, YARN, MapReduce), Apache Spark / PySpark, Apache Ozone, Trino, Apache Hive.
- Понимание принципов распределённого хранения и вычислений.
- Опыт работы с различными СУБД от 3 лет.
Будет плюсом
- Опыт работы с облачными решениями для обработки данных.
- Знание других языков программирования, таких как Java или Scala.
- Опыт работы в команде Agile.
Что мы предлагаем
- Конкурентоспособная зарплата и возможность удаленной работы.
- Участие в интересных проектах в области Big Data.
- Доступ к обучающим ресурсам и возможность профессионального роста.
- Гибкий график работы и поддержка баланса между работой и личной жизнью.
- Дружелюбная команда и поддерживающая атмосфера.
Если вы готовы присоединиться к нашей команде и внести свой вклад в развитие технологий обработки данных, отправьте свою заявку через наш канал.
Вакансия предлагает интересные возможности для опытных разработчиков Python, работающих с большими данными. Условия конкурентоспособные, но не указаны конкретные детали о компании.
Кто здесь добьётся успеха
Глубокое понимание работы с большими данными, включая опыт работы с Apache Hadoop и Apache Spark для эффективной обработки и анализа данных.
Самостоятельность и высокая степень ответственности, что особенно важно для удаленной работы, где требуется управление временем и выполнение задач без постоянного контроля.
Опыт разработки ETL процессов с использованием Apache Airflow и dbt, что позволит быстро разрабатывать и поддерживать надежные инструменты для обработки и трансформации данных.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Big Data
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев