Senior Data Engineer (CDC и пайплайны)

О позиции

Мы ищем Senior Data Engineer для работы с ingestion и CDC пайплайнами в удалённом формате. Ваша задача будет заключаться в разработке и оптимизации пайплайнов, а также в обеспечении их качества и надежности. Вы будете работать с современными технологиями, такими как Spark, Flink и Trino, и принимать участие в эксплуатации систем.

Чем вы будете заниматься

• Разрабатывать ingestion/CDC пайплайны и доводить их до production-качества.
• Строить batch-пайплайны на Spark/Flink/Trino.
• Разрабатывать и поддерживать трансформации в dbt: staging/intermediate/marts, инкрементальные модели, тесты, документация и lineage.
• Оптимизировать запросы и витрины под Trino.
• Прорабатывать модель данных и контракты с продуктами.
• Встраивать качество, каталогизацию и доступы.
• Участвовать в эксплуатации: алерты, метрики, SLO/SLA, разбор инцидентов, runbooks.

Требования

• Сильный опыт работы с Python.
• Опыт со Spark (PySpark; Scala/Java — большой плюс).
• Понимание lakehouse подхода и работы табличных форматов.
• Опыт с Kafka и понимание CDC.
• Практика Airflow и/или dbt в реальных проектах.
• Умение думать про надежность систем.
• Опыт с Trino/Presto, настройкой и оптимизацией аналитических запросов.
• Опыт со Flink/Spark.
• Опыт работы с Kubernetes/Helm и взаимодействия с DevOps.

Будет плюсом

• Знания в области облачных технологий.
• Опыт работы в стартапах или быстрорастущих компаниях.
• Умение работать в команде и делиться знаниями.

Что мы предлагаем

• Конкурентоспособная зарплата.
• Гибкий график работы.
• Удалённая работа без привязки к офису.
• Возможности для профессионального роста и развития.
• Доступ к современным инструментам и технологиям.
• Команда профессионалов, готовая делиться опытом.