Senior Data Engineer@ Top Selection

О позиции

Компания ищет Senior Data Engineer для миграции ETL-системы телеком-оператора с Oracle/Informatica на Apache стек.

Чем вы будете заниматься

• Миграция ETL-системы с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum).
• Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код.
• Написание и оптимизация SQL для витрин данных и ETL-процессов.
• Разработка DAG-ов в Airflow.
• Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы).
• Разработка Spark-джобов (PySpark) для больших объемов.
• Интеграция с Kafka для потоковой передачи.
• Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик.
• Разбор инцидентов по качеству данных и ошибкам загрузки.
• Code review.

Требования

• Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек).
• Глубокий SQL: оконные функции, сложные джойны, иерархические запросы.
• Оптимизация SQL для highload (партиционирование, индексы, explain plans).
• Oracle (PL/SQL) и PostgreSQL.
• Greenplum и/или Clickhouse.
• Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow.
• Hadoop (HDFS) и Hive.
• Мониторинг ETL: Grafana/Prometheus или Victoria Metrics.
• Опыт работы с биллинговыми системами (желательно телеком-домен).

Будет плюсом

• Потоковая обработка: Kafka Streams / Spark Streaming.
• Informatica PowerCenter (понимание мигрируемой системы).
• Бинарные форматы хранения в Hadoop.
• Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL.
• Patroni для кластеризации PostgreSQL/Greenplum.
• S3-хранилища.
• КриптоПро или защищенные каналы передачи данных.