Старший Data Engineer — Python, DWH, Big Data@ Крупная ритейл-компания

В крупной ритейл-компании открыта вакансия на позицию Старший Data Engineer. Основная задача заключается в развитии архитектуры хранилища данных (DWH), проектировании потоков данных и оптимизации производительности систем. Ваша работа будет включать проектирование и разработку потоков данных на ETL/ELT инструментах, а также имплементацию кастомных трансформаций данных. Вы будете заниматься проектированием и построением прототипов и витрин данных, анализом производительности и масштабированием существующих систем. Также потребуется оптимизация SQL-запросов и структур баз данных, разработка процедур на языке PL/pgSQL и развитие архитектуры DWH с анализом и выбором оптимальных технологий и инструментов. Важным аспектом будет создание и актуализация базы знаний для пользователей DWH. Обязательные требования к кандидатам включают: - Опыт работы с Python от 3-х лет, рассматриваются сильные backend-разработчики, активно использующие Python. - Опыт работы с базами данных, включая ClickHouse и Greenplum, либо отличное знание PostgreSQL. Необходимы глубокие знания SQL (DDL, DML) и опыт оптимизации запросов, а также понимание архитектур MPP-систем. - Навыки работы с экосистемой Hadoop (HDFS/YARN/Spark), Kafka, Nifi, Sqoop, Flume и другими инструментами Big Data и ETL. - Знание принципов построения хранилищ данных. - Опыт работы с инструментами Git, Jira и Confluence. - Опыт сопровождения и мониторинга информационных систем. Компания предлагает стабильную работу в динамичной среде, где вы сможете развивать свои навыки и участвовать в интересных проектах, связанных с данными и их обработкой. Оплата производится в течение 25 рабочих дней после подписания акта. Учитывая важность этой роли для компании, вы получите возможность влиять на архитектуру и производительность систем, что является ключевым для успешного функционирования бизнеса в ритейле.