Senior Python разработчик (Airflow / dbt)@ Arenadata

О позиции

Мы ищем Senior Python разработчика для работы в компании Arenadata. Ваша основная задача будет заключаться в разработке функциональности продукта на базе Apache Airflow. Вы будете разрабатывать кастомные операторы, хуки и провайдеры, а также модули dbt, создавая адаптеры к новым источникам данных и разрабатывая кастомные плагины.

Чем вы будете заниматься

• Разработка функциональности продукта на базе Apache Airflow.
• Создание адаптеров к новым источникам данных и разработка кастомных плагинов для dbt.
• Проектирование архитектуры модулей и коннекторов.
• Взаимодействие с архитекторами и продуктовой командой для определения стратегии развития платформы данных.
• Разработка и поддержка тестовой инфраструктуры: unit-тесты, интеграционные тесты.
• Составление архитектурных документов и технических записок по принятым решениям.
• Защита и обоснование архитектурных и технических решений.
• Участие в code review и ревью пользовательской и технической документации по продуктам.

Требования

• От 5 лет опыта в разработке на Python, значительная часть которого должна быть связана с продуктовой разработкой инструментов для работы с данными.
• Практический опыт работы с dbt Core: понимание архитектуры, опыт разработки или доработки адаптеров.
• Знание стека Big Data: экосистема Apache Hadoop (HDFS, YARN, MapReduce), Apache Spark / PySpark, Apache Ozone, Trino, Apache Hive.
• Понимание принципов распределённого хранения и вычислений.
• Опыт работы с различными СУБД от 3 лет.

Будет плюсом

• Опыт коммитов в open source (Apache Airflow, dbt, dbt-адаптеры).
• Опыт разработки собственных dbt-адаптеров под нестандартные источники.

Что мы предлагаем

• Конкурентная зарплата и возможность удалённой работы.
• Возможности для профессионального роста и развития.
• Доступ к современным технологиям и инструментам.
• Гибкий график работы.
• Участие в интересных проектах в области Big Data.