Python-разработчик — ETL и потоковая обработка данных@ МегаФон

О позиции

Компания Мегафон ищет Python-разработчика для работы в офисе в Екатеринбурге. Ваша основная задача будет заключаться в проектировании, разработке и оптимизации ETL процессов для загрузки данных из различных источников. Вы будете управлять потоковой обработкой данных с использованием Apache Kafka и разрабатывать решения на базе ClickHouse.

Чем вы будете заниматься

• Проектирование, разработка, оптимизация и поддержка ETL процессов для загрузки данных.
• Управление потоковой обработкой данных с использованием Apache Kafka.
• Разработка и оптимизация структур данных, схем и запросов в PostgreSQL.
• Построение и администрирование ClickHouse кластеров.
• Интеграция данных между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры.
• Мониторинг производительности и отказоустойчивости data pipeline.
• Автоматизация процессов обработки данных и развертывания (CI/CD).
• Взаимодействие с аналитиками и разработчиками для понимания потребностей в данных.

Требования

• Опыт работы от 2-х лет на Python, знание Golang будет плюсом.
• Опыт разработки и администрирования ClickHouse.
• Глубокое понимание Apache Kafka и настройка потоков данных.
• Опыт работы с PostgreSQL и написание сложных SQL-запросов.
• Понимание принципов построения ETL процессов.
• Знание SQL на продвинутом уровне.
• Понимание принципов DevOps (Docker, Kubernetes, Linux, CI/CD).

Будет плюсом

• Опыт работы с облачными решениями.
• Знание других языков программирования.
• Опыт работы в команде и умение работать с Agile методологиями.

Что мы предлагаем

• Конкурентная зарплата от 200 000 до 320 000 ₽ в месяц.
• Работа в стабильной компании с сильной командой.
• Возможности для профессионального роста и развития.
• ДМС и другие социальные гарантии.
• Гибкий график работы.
• Современный офис в центре Екатеринбурга.