Senior Data Engineer (CDC и пайплайны)

О позиции

Мы ищем Senior Data Engineer для удаленной работы в Узбекистане. Ваша задача будет заключаться в разработке ingestion и CDC пайплайнов, доведении их до production-качества, а также в строительстве batch-пайплайнов на таких технологиях, как Spark, Flink и Trino. Ваша роль будет критически важна для нашей команды, и вы будете работать над оптимизацией запросов и витрин под Trino.

Чем вы будете заниматься

• Разработка и поддержка трансформаций в dbt: staging, intermediate, marts, инкрементальные модели, тесты, документация и lineage.
• Оптимизация запросов и витрин под Trino для повышения производительности.
• Проработка модели данных и контрактов с продуктами для обеспечения надежности и качества данных.
• Встраивание качества, каталогизации и доступов в пайплайны данных.
• Участие в эксплуатации: алерты, метрики, SLO/SLA, разбор инцидентов, создание runbooks.
• Работа с сильным Python и опыт со Spark (PySpark; Scala/Java — большой плюс).
• Понимание lakehouse подхода и работы табличных форматов.
• Опыт с Kafka и понимание CDC.
• Практика Airflow и/или dbt в реальных проектах.
• Умение думать про надежность и стабильность систем.
• Опыт с Trino/Presto, настройкой и оптимизацией аналитических запросов.
• Опыт со Flink/Spark и Kubernetes/Helm, взаимодействие с DevOps.

Требования

• Сильные навыки программирования на Python.
• Опыт работы с Spark и знание Scala/Java.
• Понимание lakehouse подхода и работы с табличными форматами.
• Опыт работы с Kafka и понимание CDC.
• Практика использования Airflow и dbt в реальных проектах.
• Опыт работы с Trino/Presto и оптимизацией запросов.
• Знание Kubernetes и Helm, опыт взаимодействия с DevOps.

Будет плюсом

• Знание других языков программирования.
• Опыт работы в больших командах.
• Знание принципов работы с облачными решениями.

Что мы предлагаем

• Конкурентоспособная зарплата в диапазоне $2000 - $4000 в месяц.
• Гибкий график работы и возможность работать из любой точки.
• Доступ к современным инструментам и технологиям.
• Поддержка профессионального роста и обучения.
• Дружелюбная команда и поддерживающая атмосфера.