Дата-инженер — разработка высоконагруженного конвейера обработки данных@ АО «ЭР-Телеком Холдинг»

О позиции

Мы ищем дата-инженера для разработки высоконагруженного конвейера обработки данных. Это не просто классическое хранилище данных, а выделенный высокопроизводительный конвейер для обработки огромных объёмов данных. Вы будете работать удалённо, с возможностью гибкого графика.

Чем вы будете заниматься

• Разработка и сопровождение высоконагруженного конвейера обработки данных на отдельном контуре.
• Реализация API для взаимодействия между компонентами системы.
• Сбор информации через коллекторы (syslog, UDP и другие протоколы).
• Построение ETL/ELT-пайплайнов с использованием Airflow, Spark, Kafka.
• Оптимизация производительности: профилирование, работа с многопоточностью, диагностика и устранение узких мест.
• Интеграция внешних источников данных в связке с аналитиком.

Требования

• Опыт от 2 лет в дата-инженерии или разработке высоконагруженных систем.
• Высшее образование.
• Обязательные технические навыки: Python, SQL, ClickHouse, Hive, Hadoop, Spark, Kafka, Airflow.
• Опыт разработки API высокой нагрузки и работы с коллекторами сбора информации.

Будет плюсом

• Системное мышление и понимание производительности и архитектуры.
• Умение работать с большими объёмами данных.
• Коммуникация с аналитиками и смежными командами.

Что мы предлагаем

• Официальное трудоустройство в штат дочерней аккредитованной IT-компании с полным соцпакетом.
• Профессиональный рост: участие в профильных конференциях, доступ к корпоративной библиотеке и курсам.
• ДМС со стоматологией после прохождения испытательного срока.
• Корпоративные привилегии: бонусные тарифы на телеком-услуги, программы лояльности, скидки в фитнес-клубы.
• Дружелюбная атмосфера в команде профессионалов и яркая корпоративная жизнь.