Aston Data Engineer / Дата инженер Опыт работы: 3–6 лет Полная занятость@ Aston

Что за роль

Вам предстоит реализовывать высоконагруженные конвейеры обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем.

Чем вы будете заниматься

• Реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения.
• Разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу.
• Своевременно отражать статусы выполнения задач в Jira.
• Проверять качество кода, написанного инженерами данных.

Требования

• Опыт работы в роли Data Engineer от 4-х лет.
• Отличные знания Python: структуры данных и алгоритмов, ООП и функциональное программирование.
• Опыт написания модульных и интеграционных тестов, знание и опыт применения NumPy, Pandas.
• Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных (текст, xml, json) из внешних источников.
• Способность разобраться с API поставщиков данных, используя доступную документацию.
• Отличное знание SQL: сложные запросы с использованием аналитических оконных функций, инструменты профилирования для оптимизации их производительности.
• Опыт работы с БД Oracle, Postgres, Greenplum.
• Опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных Airflow.
• Опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark.
• Опыт работы с Apache Kafka: продюсеры/консьюмеры на Python, consumer groups.
• Опыт разработки сервисов потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink.
• Опыт работы с Flink.