Data Engineer — миграция на Airflow и Greenplum@ TopSelection

О позиции

Компания TopSelection ищет Data Engineer для участия в проекте по миграции данных с Informatica на Airflow и Greenplum. Ваша задача будет заключаться в разработке ETL-скриптов на Python и управлении потоками данных с использованием Airflow. Проект рассчитан до конца 2027 года, и работа будет полностью удалённой, с оформлением как ИП.

Чем вы будете заниматься

• Разработка ETL-скриптов на Python с использованием библиотек pandas и API.
• Создание и отладка DAG'ов в Airflow для автоматизации процессов миграции.
• Оптимизация трансформаций данных с помощью PySpark.
• Проектирование потоков данных в NiFi, включая мониторинг и обработку ошибок.
• Работа с базами данных Greenplum, PostgreSQL и Clickhouse для хранения и обработки данных.
• Валидация данных и контроль качества после миграции.
• Документация текущих и будущих процессов (AS IS / TO BE).
• Сложные SQL-запросы для анализа данных и их оптимизация под высокие нагрузки.

Требования

• Опыт работы с Python и библиотеками для ETL.
• Знание Airflow для написания и отладки DAG'ов.
• Опыт работы с PySpark для трансформации данных.
• Навыки работы с NiFi для проектирования потоков данных.
• Знание Greenplum и PostgreSQL для работы с данными.
• Опыт написания сложных SQL-запросов и их оптимизации.
• Способность работать в команде и управлять проектами.
• Опыт управления командой будет плюсом.

Будет плюсом

• Опыт управления командой (4+ года).
• Навыки перевода бизнес-задач в технические задания.

Что мы предлагаем

• Заработная плата от 270 000 до 320 000 рублей в месяц.
• Полная удалёнка с гибким графиком работы.
• Оформление по ИП.
• Работа в команде профессионалов над интересными проектами.
• Возможность профессионального роста и развития.
• Доступ к современным технологиям и инструментам.
• Поддержка в обучении и повышении квалификации.
• Участие в корпоративных мероприятиях и тимбилдингах.