Data Engineer — разработка и поддержка масштабируемых дата-пайплайнов@ Rivian

О позиции

Компания Rivian, занимающаяся производством электрических автомобилей, ищет Data Engineer для разработки и поддержки масштабируемых дата-пайплайнов. Эта роль требует глубоких знаний в области обработки данных и работы с большими объемами информации. Вы будете работать удаленно, что позволит вам быть частью команды, не выходя из дома.

Чем вы будете заниматься

• Проектирование, разработка и поддержка надежных и масштабируемых дата-пайплайнов для различных инициатив, основанных на данных.
• Сотрудничество с межфункциональными командами для понимания требований к данным и реализации решений, соответствующих бизнес-потребностям.
• Работа с большими наборами данных, обеспечение качества, целостности и надежности данных на протяжении всего жизненного цикла.
• Использование Apache Spark в среде Databricks для эффективной обработки больших объемов данных.
• Оптимизация и улучшение возможностей обработки данных с использованием Python, SQL, Spark и других технологий.
• Опыт реализации контейнеризации и инструментов оркестрации (например, Docker, Kubernetes).
• Реализация и оптимизация ETL-процессов для эффективного извлечения, преобразования и загрузки данных.
• Сотрудничество с Data Scientists и аналитиками для предоставления необходимой инфраструктуры данных и поддержки их аналитических потребностей.
• Отслеживание текущих тенденций в отрасли и лучших практик для постоянного улучшения процессов инженерии данных.

Требования

• Степень бакалавра в области компьютерных наук, информационных технологий или смежной области.
• Не менее 3 лет опыта в создании платформ для данных и аналитики с использованием AWS Cloud, Python, SQL и Databricks.
• Опыт работы с распределенными системами, такими как Spark.
• Знание лучших практик автоматизации и CI-CD.
• Отличные навыки решения проблем и способность работать в команде.

Что мы предлагаем

• Конкурентоспособная зарплата, соответствующая рынку.
• Возможность работать удаленно с гибким графиком.
• Поддержка профессионального роста и развития.
• Доступ к современным технологиям и инструментам.
• Дружелюбная и поддерживающая команда.