Data Engineer (Lakehouse/Data Platform)

О позиции

Мы ищем Data Engineer для работы на удалёнке в Узбекистане, который поможет построить современную Lakehouse/Data Platform для миллионов пользователей. Эта роль требует глубоких знаний в области обработки данных и разработки пайплайнов, что позволит вам внести значительный вклад в наш продукт.

Чем вы будете заниматься

• Разрабатывать ingestion/CDC пайплайны (Debezium/Flink CDC) и доводить их до production-качества: ретраи, дедупликация, DLQ, мониторинг lag’ов.
• Строить batch-пайплайны на Spark и выкладывать данные в Iceberg (Bronze/Silver/Gold), поддерживать schema evolution и бороться с мелкими файлами.
• Разрабатывать и поддерживать трансформации в dbt: staging/intermediate/marts, инкрементальные модели, тесты, документация и lineage.
• Оптимизировать запросы/витрины под Trino (партиционирование, статистики, cost-based оптимизации), при необходимости — выносить агрегаты.
• Прорабатывать модель данных и контракты с продуктами (Clickstream / Search / RecSys) и прикладными командами.
• Встраивать качество, каталогизацию и доступы: DataHub, правила OPA, ожидания Great Expectations.
• Участвовать в эксплуатации: алерты, метрики, SLO/SLA, разбор инцидентов, runbooks.

Требования

• Сильный Python.
• Опыт со Spark (PySpark; Scala/Java — большой плюс).
• Понимание lakehouse подхода и работы табличных форматов.
• Опыт с Kafka, понимание CDC.
• Практика Airflow и/или dbt в реальных проектах.
• Умение думать про надежность: идемпотентность, exactly-once/at-least-once, обработка ошибок, backfill.
• Опыт с Trino/Presto, настройкой и оптимизацией аналитических запросов.
• Опыт со Flink/Spark (stream processing, event time, state, checkpoints).
• Понимание DataHub/lineage и Data Quality фреймворков.
• Опыт Kubernetes/Helm и взаимодействия с DevOps.

Стек

• Storage: S3 + Apache Iceberg
• Batch processing: Spark/Trino/Flink
• Streaming: Apache Kafka + Apache Flink + Apache Spark
• CDC/ingestion: Debezium, Flink CDC
• Orchestration: Apache Airflow (Kubernetes Executor)
• Transformations/marts: dbt Core
• Query layer: Trino
• Data Quality: dbt tests, Great Expectations
• Infra: Kubernetes, Helm, ArgoCD, облако

Что мы предлагаем

• Конкурентная зарплата и возможность работать удалённо.
• Участие в разработке продукта, который будет использоваться миллионами пользователей.
• Доступ к современным технологиям и инструментам.
• Возможности для профессионального роста и развития.
• Гибкий график работы.