Data Engineer (Lakehouse/Data Platform)

О позиции

Мы ищем Data Engineer для работы на удалёнке в Узбекистане, который поможет построить современную Lakehouse/Data Platform для миллионов пользователей. Эта роль включает в себя разработку и оптимизацию пайплайнов данных, что позволит нам достичь высоких стандартов качества и наблюдаемости.

Чем вы будете заниматься

• Разрабатывать ingestion/CDC пайплайны (Debezium/Flink CDC) и доводить их до production-качества, включая ретраи, дедупликацию и мониторинг lag’ов.
• Строить batch-пайплайны на Spark и выкладывать данные в Iceberg, поддерживать schema evolution и бороться с мелкими файлами.
• Разрабатывать и поддерживать трансформации в dbt: staging/intermediate/marts, инкрементальные модели, тесты, документация и lineage.
• Оптимизировать запросы под Trino, включая партиционирование и статистики.
• Прорабатывать модель данных и контракты с продуктами и прикладными командами.
• Встраивать качество, каталогизацию и доступы: DataHub, правила OPA, ожидания Great Expectations.
• Участвовать в эксплуатации: алерты, метрики, SLO/SLA, разбор инцидентов.

Требования

• Сильный опыт работы с Python.
• Опыт со Spark (PySpark; Scala/Java — большой плюс).
• Понимание lakehouse подхода и работы табличных форматов.
• Опыт с Kafka и понимание CDC.
• Практика Airflow и/или dbt в реальных проектах.
• Умение думать про надежность: идемпотентность, exactly-once/at-least-once, обработка ошибок.
• Опыт с Trino/Presto и оптимизацией аналитических запросов.
• Опыт со Flink/Spark (stream processing, event time, state, checkpoints).
• Понимание DataHub/lineage и Data Quality фреймворков.
• Опыт Kubernetes/Helm и взаимодействия с DevOps.

Что мы предлагаем

• Конкурентная зарплата и возможность удалённой работы.
• Работа в команде профессионалов над интересными проектами.
• Возможности для профессионального роста и развития.
• Гибкий график работы.
• Поддержка в обучении и развитии навыков.