Инженер данных — разработка высоконагруженных конвейеров@ Альфа-Банк

О позиции

В компании Альфа-Банк открыта вакансия Инженера данных. Вы будете заниматься разработкой высоконагруженных конвейеров обработки данных, что является ключевым аспектом для обеспечения надежной и бесперебойной репликации данных из ИТ-систем Банка. Ваша работа будет включать реализацию комплексных задач по подготовке данных в целевых аналитических хранилищах, таких как DataLake, SandBox и FeatureStore, что необходимо для построения признаков, необходимых для разработки моделей машинного обучения.

Чем вы будете заниматься

• Реализация высоконагруженных конвейеров обработки данных для обеспечения надежной репликации данных.
• Подготовка данных в целевых аналитических хранилищах для разработки моделей машинного обучения.
• Разработка и поддержание документации по разработанному функционалу.
• Отражение статуса выполнения задач в Jira.
• Проверка качества кода, написанного инженерами и младшими инженерами данных.

Требования

• Уверенное знание Python, структур данных и алгоритмов, применение принципов ООП и ФП.
• Опыт написания модульных и интеграционных тестов, знание библиотек обработки данных (numpy, pandas).
• Опыт разработки сервисов загрузки и обработки неструктурированных данных (текст, xml, json).
• Умение создавать сложные SQL-запросы, опыт работы с БД Oracle, Postgres, Greenplum.
• Знание инструментов разработки и мониторинга рабочих процессов (workflow engines) пакетной обработки данных.
• Опыт разработки приложений обработки данных на основе PySpark.

Будет плюсом

• Опыт работы с API поставщиков данных.
• Знание Airflow для разработки сложных приложений обработки данных.

Что мы предлагаем

• Конкурентная заработная плата от 180 000 до 320 000 ₽ в месяц.
• Гибкий график работы и возможность удаленной работы.
• ДМС и другие социальные гарантии.
• Возможности для профессионального роста и обучения.
• Работа в дружной команде профессионалов.