Что за роль

Команда ИЦ АЙ-ТЕКО развивает data pipeline для СберAds в облачной среде. В работе сочетаются промышленная разработка на Scala, Apache Spark и практики DataOps.

Чем вы будете заниматься

• Проектировать, разрабатывать и поддерживать data pipeline.
• Оптимизировать производительность пайплайнов и распределённых вычислений.
• Настраивать мониторинг и алертинг, участвовать в создании дашбордов для контроля качества данных.
• Внедрять практики Data Quality и DataOps, поддерживать техническую документацию.

Требования

• Опыт работы от 3 лет.
• Отличное знание SQL, включая оптимизацию запросов и анализ планов выполнения.
• От 2 лет промышленной разработки на Scala либо уверенное знание Python/PySpark и готовность работать с ядром на Scala.
• Знание Apache Spark, архитектуры Lakehouse, концепций DWH и Data Lake.
• Опыт работы с Airflow, Dagster или аналогичными оркестраторами; уверенная работа с Git и понимание CI/CD для данных.

Будет плюсом

• Опыт со стриминговым ETL, Kafka, Spark Structured Streaming или Apache Flink.
• Знакомство с Apache Iceberg, Delta Lake или Hudi, Kubernetes и инструментами Data Quality.
• Базовое понимание ML-процессов и feature store.

Что мы предлагаем

• Полная занятость, график 5/2.
• Формат работы на выбор: удалённо, гибридно или в офисе.