Data Engineer (Middle/Senior)@ Datasciencejobs

О позиции

Мы ищем Data Engineer для долгосрочного проекта. Эта вакансия предлагает возможность работать с современными технологиями и решать интересные задачи в команде профессионалов. Если вы обладаете опытом работы в роли Data Engineer от 4-х лет и готовы к новым вызовам, мы будем рады видеть вас в нашей команде.

Чем вы будете заниматься

• Самостоятельная разработка, реализация и поддержка интеграционных решений на стеке технологий, принятых в команде (Java, Groovy, Apache Nifi, Airflow);
• Определение стека технологий для конкретных проектов и задач;
• Решение технически сложных задач, которые не могут решить другие инженеры в команде;
• Оперативное реагирование на информацию о проблемах в зоне ответственности;
• Разработка и контроль актуальности документации по взаимодействию конфигурационных единиц платформы больших данных;
• Предоставление отчетов о своей деятельности начальнику отдела/руководителю;
• Контроль качества интеграционных решений с последующим созданием задач/дефектов для рефакторинга;
• Определение технологической стратегии развития проекта или продукта;
• Выстраивание процессов (например, CI/CD, код-ревью), внедрение и развитие инженерных практик.

Требования

• Опыт работы в роли Data Engineer от 4-х лет;
• Опыт полного цикла создания данных: от проектирования пайплайнов и моделей до внедрения в production и мониторинга;
• Системное мышление и способность проектировать масштабируемые и отказоустойчивые решения;
• Навыки эффективной коммуникации с командами аналитики, бизнес-аналитиков, DevOps и разработки продуктов;
• Опыт проведения нагрузочных тестов DataLake-платформ;
• Практический опыт написания эффективных SQL-запросов для анализа и трансформации данных;
• Уверенная работа с Parquet, Iceberg, JSON, CSV;
• Опыт написания DAG в Airflow для планирования регулярных ETL-задач;
• Знание Python для разработки скриптов для ETL и работы с API;
• Базовое понимание Kubernetes и опыт запуска и мониторинга задач в K8s.

Будет плюсом

• Опыт работы с Spark и оптимизация Spark-приложений;
• Знание основ работы с API и Pandas для обработки данных;
• Понимание архитектуры микросервисов на базе K8s.

Что мы предлагаем

• Конкурентная зарплата от 272К до 285К рублей;
• Долгосрочный проект с возможностью профессионального роста;
• Работа в дружной команде профессионалов;
• Гибкий график работы и возможность удаленной работы;
• Оформление по ИП.