Senior Data Engineer для Lakehouse

330K ₽/мес
Опубликовано 03.11.2026
РоссияУдалённоSeniorBioTechLakehouseFile DataTabular DataApache NiFiApache AirflowApache IcebergCeph

Что за роль

Проект биотехнологической компании связан с построением Lakehouse для файловых и табличных данных. Работа полностью удалённая, для кандидатов из России; оформление — как ИП или самозанятость.

Чем вы будете заниматься

  • Проектировать и строить Lakehouse.
  • Создавать production-grade потоки данных из файловых сервисов с версионированием.
  • Строить надёжные потоки данных для промышленной эксплуатации.

Требования

  • Практический опыт работы с файловыми и табличными данными.
  • Практический опыт с NiFi, Airflow, Iceberg, Ceph и Lakekeeper.
  • Опыт применения RBAC.
  • При отклике кратко описать построенные Lakehouse-решения, личную ответственность и использованные технологии.

Что мы предлагаем

  • Оплата — до 2 000 ₽ в час или до 330 000 ₽ в месяц.
  • Полностью удалённая работа из России.
  • Оформление как ИП или самозанятость.

Кто здесь добьётся успеха

→

Имеет senior-опыт проектирования Lakehouse для файловых и табличных данных и понимает, как обеспечить согласованное хранение, версионирование и доступность данных в промышленной среде биотехнологического проекта.

→

Уверенно строит и отлаживает конвейеры данных: использует Apache NiFi для интеграции файловых источников и Apache Airflow для оркестрации, уделяя внимание отказоустойчивости и повторному запуску задач.

→

Практически применяет Apache Iceberg и Lakekeeper вместе с Ceph, разбирается в управлении табличными форматами, хранением объектов и настройке ролевого доступа RBAC.

→

Самостоятельно организует работу в полностью удалённом формате: декомпозирует архитектурные задачи, документирует решения и доводит Lakehouse-компоненты до production-ready состояния; уверенно действует без ежедневного офисного контроля.

Ресурсы для обучения

→Сетевой инженер (уровень CCNA +)Курс

Карьерный путь

Старший инженер данных для Lakehouse (Сейчас)→Ведущий инженер данных или технический лидер Lakehouse-платформы (Через 1–2 года)→Архитектор платформы данных или руководитель направления Lakehouse (Через 3–5 лет)

Обзор рынка

Объём рынка Lakehouse 2026
$12,1 млрд
Годовой рост сегмента
19,2%
Внедрение AI в Lakehouse-платформах
около 35%
Инвестиции в Lakehouse-решения
+18%

Навыки и требования

Обязательные
LakehouseFile DataTabular Data
Растущий спрос
Apache Iceberg: форматы таблиц, эволюция схем и оптимизация compactionApache Spark и Trino для пакетной и интерактивной обработки данныхOpenMetadata или DataHub: каталогизация, lineage и управление качеством данных
Снижающийся спрос
Apache Hive ACID и формат Hive ORC как основа транзакционного слоя озера данныхРучные ETL-процессы на Apache Sqoop и скриптах без оркестрации

Тренды отрасли

Iceberg становится базовым открытым форматом таблиц
Компании переходят от привязанных к одному движку форматов к Apache Iceberg, чтобы читать одни и те же табличные данные из Spark, Trino и Flink. Для российских команд это особенно актуально при построении платформ на Ceph и других S3-совместимых хранилищах. Практический фокус — управление метаданными, compaction и проверка совместимости движков.
Lakehouse готовят данные для генеративного AI
По оценкам отраслевых исследований, около трети организаций уже применяют AI в проектах работы с данными; растёт потребность в объединении табличных и файловых наборов для аналитики и RAG. Инженерам полезно осваивать потоковую загрузку документов, контроль качества и lineage, а также подготовку данных и векторных представлений без ослабления RBAC.

Новости BioTech

Загружаем новости отрасли...

Ищем релевантные статьи за последние 6 месяцев

Похожие вакансии
Data Integration Engineer для проекта управления загрузкой данных
85K ₽–90K ₽
Data Engineer — Python и SQL
Авиасейлс·247K ₽–307K ₽
Senior Data Analyst — ClickHouse
207K ₽–257K ₽
Team Lead DataOps для инфраструктуры ClickHouse
01.tech·310K ₽–386K ₽
Data Engineering Lead — ClickHouse и dbt
The Open Platform·569K ₽–708K ₽
Data QA — интеграция внешних источников
Centicore·200K ₽–350K ₽
Data QA по интеграции внешних источников
Centicore·200K ₽–350K ₽
Senior SRE-инженер для инфраструктуры данных
Удалённо
Архитектор данных и AI
Ascend Technologies·12K ₽
Стажёр-инженер данных BI — dbt и Dagster
Лоция·160K ₽–200K ₽
Senior DevOps Engineer — AWS и Terraform
3K ₽–9K ₽
Senior DevOps Engineer для алготрейдинга
3K ₽–8K ₽
Middle DevOps Engineer
ReStaff·151K ₽–188K ₽
Senior AQA Java Engineer
Bell Integrator·203K ₽–253K ₽
Senior AI Engineer — LangChain и LangGraph
Centillion Infotech·292K ₽–364K ₽