Data Engineer / Technical Lead в телекоммуникациях

Мы ищем сильного Data Engineer / Technical Lead на долгосрочный проект в сфере телекоммуникаций. Проект связан с масштабной миграцией ETL-процессов на Apache/open-source стек и переходом с Informatica PowerCenter на современную архитектуру обработки данных. Локация: РФ / РБ. Формат: удалённо. Оформление: только ИП. График: МСК ±2 часа. Занятость: полная. Уровень: Senior / Team Lead. Задачи включают: - Миграция ETL-процессов с Informatica PowerCenter на целевой стек NiFi + Airflow + Greenplum + SQL / хранимые процедуры; - Разработка и оптимизация ETL/ELT-процессов; - Написание сложного SQL-кода и хранимых процедур; - Разработка и отладка DAG’ов в Apache Airflow; - Работа с потоковой и пакетной обработкой данных; - Подготовка документации AS IS / TO BE; - Настройка мониторинга и отслеживание метрик ETL-процессов; - Автоматизация проверки и контроля качества данных после миграции. Что важно: Обязателен сильный практический опыт: - разработки ETL/ELT, включая реализацию значительной части логики на стороне СУБД; - разработки хранимых процедур и функций, SQL / PL/SQL или аналогичных расширений; - миграции ETL-систем на Apache/open-source стек; - миграции с Informatica PowerCenter на Airflow + Greenplum; - разработки на Python: ETL-скрипты, pandas, интеграции с API; - разработки и отладки Airflow DAGs; - работы с Apache NiFi: проектирование потоков, подключение источников, error handling, мониторинг и отладка; - работы с PySpark: трансформации, оптимизация, партиционирование; - работы с Hadoop, Hive, Hive Metastore, Parquet и ORC; - работы с Oracle, PostgreSQL, Greenplum, ClickHouse; - сложного SQL: оконные функции, joins, оптимизация запросов в highload-среде; - интеграций Apache-стека с Kafka и BI-системами; - потоковой обработки данных; - мониторинга через Grafana / Prometheus; - построения процессов Data Quality: правила валидации, сравнение результатов миграции, контроль метрик; - работы с биллинговыми системами. Будет преимуществом: - опыт системного анализа ETL-процессов; - опыт управления командой в роли Team Lead от 4 лет; - умение переводить бизнес-требования в технические спецификации; - опыт подготовки технической и пользовательской документации; - создание ER-диаграмм, инструкций и тест-кейсов. Для проекта важен именно hands-on технический опыт: позиция предполагает не только проектирование и управление, но и непосредственную работу с SQL, Airflow, NiFi, Python и целевым Data-стеком.