Senior Python разработчик (Airflow / dbt)@ Arenadata

О позиции

Мы ищем Senior Python разработчика для работы над проектами в компании Arenadata. Ваша основная задача будет заключаться в разработке функциональности продукта на базе Apache Airflow и dbt. Эта роль предлагает уникальную возможность влиять на архитектуру и стратегию развития платформы данных, а также работать в команде профессионалов.

Чем вы будете заниматься

• Разработка функциональности продукта на базе Apache Airflow: создание кастомных операторов, хуков и провайдеров.
• Разработка модулей dbt: создание адаптеров к новым источникам данных и разработка кастомных плагинов.
• Проектирование архитектуры модулей и коннекторов.
• Взаимодействие с архитекторами и продуктовой командой для определения стратегии развития платформы данных.
• Разработка и поддержка тестовой инфраструктуры: unit-тесты, интеграционные тесты.
• Составление архитектурных документов и технических записок по принятым решениям.
• Защита и обоснование архитектурных и технических решений.
• Участие в code review и ревью документации по продуктам.

Требования

• От 5 лет опыта в разработке на Python, с акцентом на продуктовую разработку инструментов для работы с данными.
• Практический опыт работы с dbt Core и понимание его архитектуры.
• Знание стека Big Data: экосистема Apache Hadoop, Apache Spark, Trino и другие.
• Опыт работы с различными СУБД от 3 лет.
• Знание внутреннего устройства Apache Airflow, включая архитектуру и API провайдеров.
• Уверенное владение Python 3 и опыт разработки коннекторов к СУБД.
• Знание принципов CI/CD и опыт работы с Docker и Kubernetes.
• Способность декомпозировать задачи разработки и оценивать трудозатраты.

Будет плюсом

• Опыт коммитов в open source проектах, таких как Apache Airflow или dbt.
• Опыт разработки собственных dbt-адаптеров под нестандартные источники.

Что мы предлагаем

• Конкурентная зарплата и возможность удалённой работы.
• Гибкий график и возможность работать из любой точки.
• Доступ к современным технологиям и инструментам.
• Поддержка профессионального роста и обучения.
• Дружелюбная команда и поддерживающая атмосфера.

Если вы готовы присоединиться к нашей команде, пожалуйста, отправьте своё резюме через оригинальный источник.