О позиции
Вакансия Data Engineer удалённо предполагает участие в аутстафф проекте для компании ЛИАН. Вы будете заниматься проектированием, внедрением и сопровождением пайплайнов обработки информации и систем управления данными на платформе Databricks. Ваши задачи будут включать использование Unity Catalog, Delta Lake и Workflows для эффективного управления данными.
Чем вы будете заниматься
- Проектирование и внедрение пайплайнов обработки данных на платформе Databricks.
- Проведение детального исследования и очистки наборов данных для их распределения по бизнес-доменам.
- Создание архитектуры разграничения доступа к данным с использованием Terraform.
- Взаимодействие с командой для рецензирования схем доступа и контрактов данных.
- Обеспечение корректного запуска продуктов обработки данных в соответствии с контрактами.
- Подготовка и актуализация документации, охватывающей контракты на данные и модели доступа.
- Отслеживание работы пайплайнов и выполнение проверок качества данных.
- Изучение существующих наработок и поиск готовых решений для повторного использования компонентов.
Требования
- Более 3 лет опыта работы в области проектирования данных.
- Опыт работы с Python и фреймворками для обработки данных (Spark/PySpark).
- Практический опыт работы с Unity Catalog и Delta Lake.
- Опыт автоматизации развертывания объектов Databricks через Terraform.
- Умение оптимизировать производительность Spark-задач.
- Опыт работы с потоковой обработкой данных.
- Глубокие знания в области моделирования данных и архитектуры хранилищ.
- Практический опыт развертывания облачных платформ и инфраструктуры данных.
- Опыт внедрения CI/CD для кода обработки данных.
- Способность проектировать решения для доступа к данным.
- Четкое понимание бизнес-ценности предоставляемых продуктов данных.
- Опыт разработки программного обеспечения.
- Английский язык на уровне B1 и выше.
Что мы предлагаем
- Заработная плата от 240 до 350 тыс. рублей в месяц.
- Фулл тайм занятость с возможностью удалённой работы.
- Оформление по ИП.
- Работа в команде профессионалов с возможностью карьерного роста.
- Доступ к современным технологиям и инструментам.
- Гибкий график работы.
- Возможность участия в интересных проектах.
- Поддержка в обучении и развитии профессиональных навыков.
Вакансия Data Engineer предлагает интересные задачи и конкурентоспособную зарплату. Однако, стоит обратить внимание на требования к опыту и навыкам, которые могут ограничить круг кандидатов.
Кто здесь добьётся успеха
Глубокое понимание архитектуры данных и опыт работы с пайплайнами в Databricks, включая использование Delta Lake для управления версиями данных.
Способность работать самостоятельно в удалённой среде, проявляя инициативу и проактивность при решении задач, связанных с проектированием пайплайнов.
Опыт применения Terraform для автоматизации развертывания инфраструктуры, что позволяет эффективно управлять ресурсами и сокращать время на внедрение решений.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Data Engineering
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев