Data Engineer для облачных решений на Azure и Snowflake@ Shashwath Solutions

О позиции

Мы ищем высококвалифицированного Data Engineer для работы удалённо, который будет играть ключевую роль в создании облачных решений на базе Azure и Snowflake. Ваша основная задача будет заключаться в проектировании, разработке и поддержке масштабируемых ETL/ELT пайплайнов и рабочих процессов. Вы будете работать с передовыми технологиями, такими как Python и Pandas, для обработки данных и оптимизации процессов.

Чем вы будете заниматься

• Проектировать, разрабатывать и поддерживать масштабируемые ETL/ELT пайплайны и рабочие процессы.
• Создавать облачные решения для обработки данных с использованием Microsoft Azure.
• Разрабатывать и оптимизировать процессы загрузки и трансформации данных с помощью Python и Pandas.
• Работать с Snowflake для управления данными, оптимизации запросов и настройки производительности.
• Интегрировать данные из API, баз данных, плоских файлов и облачных систем хранения.
• Сотрудничать с аналитическими и бизнес-командами для предоставления высококачественных наборов данных.
• Обеспечивать качество данных, соблюдение стандартов управления и безопасности.
• Автоматизировать мониторинг, валидацию и отчётность для рабочих процессов с данными.
• Устранять и решать проблемы с производительностью в пайплайнах и облачной инфраструктуре.
• Участвовать в обсуждениях архитектуры и рекомендовать лучшие практики в области обработки данных.

Требования

• 5-10 лет опыта в области Data Engineering или смежной области.
• Сильный практический опыт работы с Microsoft Azure Data Services.
• Опыт работы с Python, Snowflake, Pandas и SQL.
• Знание процессов ETL/ELT.
• Опыт работы с Azure Data Factory, Azure Data Lake, Azure Synapse Analytics и Azure Databricks (предпочтительно).
• Глубокое понимание облачных архитектур и концепций хранения данных.
• Экспертиза в оптимизации SQL-запросов и настройке производительности.
• Опыт работы с большими структурированными и полуструктурированными наборами данных.
• Знание систем контроля версий, таких как Git.
• Отличные аналитические, диагностические и коммуникативные навыки.

Будет плюсом

• Опыт работы с NumPy и другими библиотеками для анализа данных.
• Знание рабочих процессов подготовки данных для машинного обучения.
• Знание Apache Airflow или инструментов оркестрации.
• Опыт работы с CI/CD пайплайнами и практиками DevOps.
• Сертификаты Azure будут дополнительным преимуществом.

Что мы предлагаем

• Конкурентоспособная зарплата и возможность удалённой работы.
• Возможности для профессионального роста и развития.
• Работа в динамичной команде с интересными проектами.
• Гибкий график работы и поддержка баланса между работой и личной жизнью.
• Доступ к современным технологиям и инструментам.
• Поддержка в обучении и сертификации.