Гибрид Медиалогия Data Engineer (Hadoop, Scala) Опыт работы: 3@ Медиалогия

Что за роль

Компания Медиалогия ищет Data Engineer для разработки и оптимизации ETL/ELT-конвейеров для обработки больших данных. Работа предполагает удалённый или гибридный формат.

Чем вы будете заниматься

• Разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных.
• Настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase).
• Оптимизация распределенных вычислений и запросов.
• Работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ).
• Участие в проектировании и масштабировании архитектуры данных.
• Автоматизация процессов с использованием DevOps-практик (Docker, CI/CD).

Требования

• Высшее (неоконченное высшее) образование.
• Опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop).
• Глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet).
• Опыт оптимизации производительности распределенных систем.
• Работа с потоковой обработкой (Kafka, Spark Streaming).
• Навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB).

Будет плюсом

• Опыт с PySpark, Flink, Airflow.
• Знание Elasticsearch, ClickHouse, Vertica.
• Навыки настройки кластеров и инфраструктуры.