Data Engineer (Lakehouse/Data Platform)

О позиции

Мы ищем Data Engineer для работы на удалёнке в Узбекистане, который поможет построить современную Lakehouse/Data Platform. Эта роль требует сильных навыков в разработке пайплайнов и обеспечении качества данных для миллионов пользователей.

Чем вы будете заниматься

• Разрабатывать ingestion/CDC пайплайны (Debezium/Flink CDC) и доводить их до production-качества: ретраи, дедупликация, DLQ, мониторинг lag’ов.
• Строить batch-пайплайны на Spark и выкладывать данные в Iceberg (Bronze/Silver/Gold), поддерживать schema evolution и бороться с мелкими файлами.
• Разрабатывать и поддерживать трансформации в dbt: staging/intermediate/marts, инкрементальные модели, тесты, документация и lineage.
• Оптимизировать запросы/витрины под Trino (партиционирование, статистики, cost-based оптимизации), при необходимости — выносить агрегаты.
• Прорабатывать модель данных и контракты с продуктами (Clickstream / Search / RecSys) и прикладными командами.
• Встраивать качество, каталогизацию и доступы: DataHub, правила OPA, ожидания Great Expectations.
• Участвовать в эксплуатации: алерты, метрики, SLO/SLA, разбор инцидентов, runbooks.

Требования

• Сильный Python.
• Опыт со Spark (PySpark; Scala/Java — большой плюс).
• Понимание lakehouse подхода и работы табличных форматов.
• Опыт с Kafka, понимание CDC.
• Практика Airflow и/или dbt в реальных проектах.
• Умение думать про надежность: идемпотентность, exactly-once/at-least-once, обработка ошибок, backfill.
• Опыт с Trino/Presto, настройкой и оптимизацией аналитических запросов.
• Опыт со Flink/Spark (stream processing, event time, state, checkpoints).
• Понимание DataHub/lineage и Data Quality фреймворков.
• Опыт Kubernetes/Helm и взаимодействия с DevOps.

Что мы предлагаем

• Конкурентная зарплата в диапазоне $2000-$3500 в месяц.
• Гибкий график работы и возможность удалённой работы.
• Участие в разработке продукта, который будет использоваться миллионами пользователей.
• Доступ к современным технологиям и инструментам.
• Возможности для профессионального роста и развития.
• Работа в дружелюбной и поддерживающей команде.