Дата-инженер — высоконагруженные системы и ETL-пайплайны@ ЭР-Телеком Холдинг

О позиции

Мы ищем дата-инженера для работы над новой платформой анализа данных. Это не просто классическое хранилище данных, а высокопроизводительный конвейер для обработки огромных объёмов данных. Вам предстоит работать в команде профессионалов, развивая цифровую инфраструктуру для жизни, бизнеса и государства.

Чем вы будете заниматься

• Разработка и сопровождение высоконагруженного конвейера обработки данных на отдельном контуре.
• Реализация API для взаимодействия между компонентами системы.
• Сбор информации через коллекторы (syslog, UDP и другие протоколы).
• Построение ETL/ELT-пайплайнов с использованием Airflow, Spark, Kafka.
• Оптимизация производительности: профилирование, работа с многопоточностью, диагностика и устранение узких мест.
• Интеграция внешних источников данных в связке с аналитиком.

Требования

• Опыт: от 2 лет в дата-инженерии или разработке высоконагруженных систем.
• Высшее образование.
• Технические навыки (обязательно): Python, SQL, ClickHouse, Hive, Hadoop, Spark, Kafka, Airflow.
• Опыт разработки API высокой нагрузки.
• Опыт работы с коллекторами сбора информации.

Будет плюсом

• Системное мышление и понимание производительности и архитектуры.
• Умение работать с большими объёмами данных.
• Коммуникация с аналитиками и смежными командами.

Что мы предлагаем

• Официальное трудоустройство с полным соцпакетом.
• Профессиональный рост через участие в конференциях и доступ к корпоративной библиотеке.
• ДМС со стоматологией после испытательного срока.
• Корпоративные привилегии: бонусные тарифы на телеком-услуги и скидки в фитнес-клубы.
• Дружелюбная атмосфера и яркая корпоративная жизнь.