Senior Data Engineer — Python, Airflow

260K ₽–280K ₽/мес
Опубликовано 05.11.2026
РоссияУдалённоSeniorAI/Big DataPythonPydanticApache AirflowOpenMetadataPostgreSQLSQLREST APIs

Что за роль

Работа связана с интеграциями и каталогом метаданных OpenMetadata. В проекте используются Python и Airflow; позиция рассчитана на кандидатов, работающих из России.

Чем вы будете заниматься

  • Разрабатывать интеграции и кастомные коннекторы для Ingestion Framework.
  • Создавать скрипты миграции метаданных и автоматизацию через SDK.
  • Настраивать и оркестрировать пайплайны в Airflow.

Требования

  • От 3 лет коммерческой разработки интеграций на Python.
  • Уверенное знание Python, включая Pydantic, классы и генераторы.
  • Понимание архитектуры Source → Sink в OpenMetadata.
  • Опыт работы с Airflow и SQL.
  • Умение использовать AI-инструменты для скаффолдинга коннекторов.
  • Высшее IT-образование — в приоритете.

Будет плюсом

  • Опыт с Kafka или RabbitMQ в production: consumer groups, DLQ и гарантии доставки.
  • Опыт с gRPC, Protobuf и Redis.
  • Знание Docker, Kubernetes, CI/CD и инструментов observability.

Что мы предлагаем

  • Полная занятость, удалённая работа для кандидатов из России.
  • Ставка 260 000–280 000 ₽ gross.

Кто здесь добьётся успеха

→

Уверенный разработчик на Python с опытом коммерческой работы от трёх лет, который проектирует типизированные модели данных на Pydantic и создаёт надёжные интеграции с REST API.

→

Практик OpenMetadata: умеет разрабатывать кастомные коннекторы для Ingestion Framework, автоматизировать работу с каталогом через OpenMetadata SDK и писать скрипты миграции метаданных.

→

Инженер, способный самостоятельно доводить конвейеры данных до стабильной эксплуатации: уверенно работает с Apache Airflow, PostgreSQL и SQL, понимает применение Kafka и RabbitMQ для обмена сообщениями.

→

Самостоятельный специалист старшего уровня, которому подходит удалённая работа из России: умеет планировать задачи и отлаживать интеграции асинхронно, внимательно относится к качеству данных, повторным запускам и обработке ошибок.

Ресурсы для обучения

→Сетевой инженер (уровень CCNA +)Курс

Карьерный путь

Старший инженер данных — Python и OpenMetadata (Сейчас)→Ведущий инженер по платформе метаданных и интеграциям данных (Через 1–2 года)→Архитектор платформы данных и управления метаданными (Через 3–5 лет)

Обзор рынка

Объём мирового рынка ПО для работы с данными, 2026
$150 млрд
Рост рынка управления метаданными, 2025–2026
около 16%
Использование AI-инструментов разработчиками Python
около 60%
Рост мировых инвестиций в генеративный AI, 2024
+62%

Навыки и требования

Обязательные
PythonPydanticApache Airflow
Растущий спрос
dbt и SQLMesh для версионируемых трансформаций данных и интеграции lineage с OpenMetadataApache Iceberg и lakehouse-архитектуры для каталогизации таблиц и управления схемамиGreat Expectations и Soda для проверок качества данных, совместимых с Python-пайплайнами
Снижающийся спрос
Luigi — уступает Airflow и современным оркестраторам по зрелости экосистемы и интеграциямСамописные каталоги метаданных и реестры схем на базе отдельных таблиц PostgreSQL — заменяются платформами с автоматическим сбором lineage и API

Тренды отрасли

Каталог данных становится частью платформы данных
Компании связывают каталог, lineage, владельцев и проверки качества с оркестрацией Airflow и CI/CD, а не ведут метаданные вручную. Для российского рынка особенно полезен опыт развёртывания OpenMetadata в собственном контуре и интеграции с PostgreSQL, Kafka и корпоративной аутентификацией.
Переход от пакетных загрузок к потоковым данным
Kafka и другие брокеры всё чаще дополняют пакетные Airflow-процессы: события и изменения схем нужно регистрировать в каталоге почти в реальном времени. Инженерам стоит освоить регистрацию схем, обработку эволюции схем и идемпотентные Python-консьюмеры; для российских компаний важна работа с локальными инсталляциями и доступными Kafka-совместимыми решениями.

Новости AI/Big Data

Загружаем новости отрасли...

Ищем релевантные статьи за последние 6 месяцев

Похожие вакансии
Data Engineer — Python и SQL
Авиасейлс·247K ₽–307K ₽
Архитектор данных и AI
Ascend Technologies·12K ₽
Middle Python Developer — Django, FastAPI
Арелаг консалт·191K ₽–238K ₽
Database Engineer — PostgreSQL и MySQL
136K ₽–170K ₽
Senior DevOps Engineer — AWS и Terraform
3K ₽–9K ₽
Senior DevOps Engineer для алготрейдинга
3K ₽–8K ₽
Senior AI Engineer — LangChain и LangGraph
Centillion Infotech·292K ₽–364K ₽
AI Engineer — мультимодальные ETL/ELT-пайплайны
350K ₽–450K ₽
AI/ML-разработчик на Python
ИЦ АЙ-ТЕКО·193K ₽–240K ₽
Data QA по интеграции внешних источников
Centicore·200K ₽–350K ₽
Senior NLP Engineer — Python, LLM
Runello·285K ₽–354K ₽
Middle DevOps Engineer
ReStaff·151K ₽–188K ₽
Senior Data Security Engineer — Microsoft Purview
Intapp·214K ₽–266K ₽
Senior системный аналитик — PostgreSQL, Kafka
Top Selection·250K ₽–265K ₽
Senior DevOps Engineer для государственной платформы закупок
BuyerTech·300K ₽–350K ₽