Data Engineer — миграция ETL-процессов на NiFi и Airflow

О позиции

Вакансия Data Engineer с удалённой работой. Основная задача — миграция ETL-процессов с Informatica PowerCenter на NiFi, Airflow и Greenplum.

Чем вы будете заниматься

• Мигрировать ETL-процессы с Informatica PowerCenter на NiFi, Airflow и Greenplum;
• Разрабатывать ETL/ELT-процессы и хранимые процедуры;
• Писать и оптимизировать SQL-код для highload-среды;
• Разрабатывать и отлаживать DAG в Apache Airflow;
• Готовить документацию AS IS и TO BE;
• Отслеживать метрики и контролировать качество данных после миграции.

Требования

• Опыт Team Lead и управления командой от 4 лет;
• Глубокое знание NiFi, Airflow, SQL/PLSQL и ETL/ELT;
• Опыт с Python, pandas, PySpark и интеграциями API;
• Опыт миграции с Informatica PowerCenter на Airflow и Greenplum;
• Знание Hadoop, Hive, Kafka, Oracle, PostgreSQL, Greenplum и ClickHouse;
• Опыт с качеством данных, потоковой обработкой и Grafana/Prometheus.

Что мы предлагаем

• Удалённая работа;
• Доход 280 000–300 000 ₽;
• Senior-позиция;
• Работа с миграцией и развитием ETL-инфраструктуры;
• Стек: NiFi, Airflow, Greenplum, Python, PySpark, SQL.