Что за роль

Проект связан с миграцией ETL-системы телеком-оператора с Oracle и Informatica на Apache-стек. Работа включает перенос бизнес-логики и обработку больших объёмов данных.

Чем вы будете заниматься

• Переносить бизнес-логику Informatica в SQL-код и оптимизировать запросы для витрин данных и ETL-процессов.
• Разрабатывать DAG-и в Airflow, пайплайны в NiFi и Spark-джобы на PySpark.
• Настраивать интеграцию с Kafka и мониторинг в Grafana/Prometheus.
• Разбирать инциденты качества данных и ошибок загрузки, проводить code review.

Требования

• Опыт миграции ETL-систем, предпочтительно с Oracle/Informatica на Apache-стек.
• Глубокий SQL, оптимизация запросов для highload, опыт с Oracle (PL/SQL) и PostgreSQL.
• Опыт с Greenplum и/или ClickHouse, Spark/PySpark, NiFi, Airflow, Hadoop/HDFS и Hive.
• Опыт мониторинга ETL и работы с биллинговыми системами; телеком-домен будет преимуществом.

Будет плюсом

• Kafka Streams или Spark Streaming, Informatica PowerCenter, S3-хранилища.
• Patroni, бинарные форматы Hadoop, КриптоПро или защищённые каналы передачи данных.
• Знание различий между Hive и Impala, Greenplum и PostgreSQL, ClickHouse и PostgreSQL.

Что мы предлагаем

• Проектная занятость, полная загрузка.
• Удалённый формат с часовым поясом МСК ±3 часа.
• Оформление только как ИП.
• Оплата: 250 000–270 000 рублей на руки.