Data Engineer / Technical Lead — Senior / Lead@ HuntTech

О позиции

Компания HuntTech ищет опытного Data Engineer / Technical Lead с опытом работы от 5 лет. Ваша задача будет заключаться в миграции ETL-процессов с Informatica PowerCenter на новый стек технологий, включая NiFi, Airflow, Greenplum и SQL. Работа будет проходить в удаленном формате.

Чем вы будете заниматься

• Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi, Airflow, Greenplum и SQL/хранимые процедуры.
• Подготовка документации AS IS и TO BE.
• Написание SQL кода.
• Отслеживание метрик.

Требования

• Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД.
• Опыт разработки и сопровождения хранимых процедур / функций в СУБД.
• Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных.
• Опыт участия в проектах миграции ETL-систем (Apache стек).
• Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API).
• Опыт написания и отладки DAG'ов в Apache Airflow.
• Опыт работы с PySpark (трансформации, оптимизация, партиционирование).
• Глубокое практическое знание NiFi и Airflow.
• Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы.
• Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT.
• Опыт работы с Hive metastore и форматами файлов (Parquet, ORC).
• Опыт работы с Oracle и сложными SQL-запросами.
• Опыт проектирования интеграций Apache-стека с Kafka и BI-системами.
• Опыт работы с Hadoop и Hive.
• Опыт работы с PostgreSQL, Greenplum, Clickhouse.
• Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов.
• Опыт автоматической валидации и контроля качества данных после миграции.

Будет плюсом

• Опыт в системном анализе ETL.
• Опыт TeamLead (управление командой) не менее 4 лет.
• Умение переводить бизнес-требования в технические спецификации.
• Опыт подготовки документации для пользователей и разработчиков.
• Опыт создания ER-диаграмм, инструкций, тест-кейсов.

Что мы предлагаем

• Конкурентная заработная плата от 250 000 до 310 000 рублей в месяц.
• Удаленная работа с гибким графиком.
• Возможность профессионального роста и развития.