Middle Data Engineer (Databricks)@ Data Smart Solutions

О позиции

Мы ищем Middle Data Engineer (Databricks) для присоединения к нашей команде в Data Smart Solutions. Ваша роль будет заключаться в создании и поддержке автоматизированных проверок качества данных, что является ключевым аспектом для обеспечения надежности и точности данных в нашей компании.

Чем вы будете заниматься

• Анализ данных с акцентом на качество и понимание взаимосвязей между различными источниками данных.
• Работа с Databricks и тестовыми средами SQL Server для создания автоматизированных проверок качества данных.
• Использование инструментов валидации данных, таких как Collibra или Great Expectations.
• Разработка автоматизированных проверок качества данных с использованием Python и SQL.
• Профилирование данных и обнаружение аномалий для выявления проблем в наборах данных.
• Чтение и анализ кода других разработчиков для отслеживания проблем с данными в пайплайнах.
• Автоматизация тестирования, документация и отслеживание метрик качества данных.

Требования

• Сильный акцент на качестве данных и способность глубоко анализировать данные.
• Практический опыт работы с Databricks и тестовыми средами SQL Server.
• Опыт работы с инструментами валидации данных.
• Хорошие навыки программирования на Python и SQL.
• Знания в области профилирования данных и обнаружения аномалий.
• Способность читать и анализировать код других разработчиков.
• Опыт автоматизации тестирования и отслеживания метрик качества данных.

Будет плюсом

• Опыт работы с облачными платформами данных, такими как AWS или Azure.
• Знания в области моделей машинного обучения для обнаружения аномалий.

Что мы предлагаем

• Полностью удалённая работа.
• Работа над реальными проектами в области инженерии данных.
• Возможности для роста и развития.
• Дружелюбная команда.

Если вы готовы подать заявку, заполните форму по следующей ссылке: Форма заявки.