Ведущий инженер по данным AWS@ LINGARO GROUP

Компания Lingaro — международная IT-компания, работающая на рынке с 2008 года, с более чем 1800 сотрудников в 7 глобальных локациях. Она сертифицирована как Great Place to Work® и предлагает гибкие условия работы, а также обширные программы обучения для своих сотрудников. В роли Ведущего инженера по данным AWS вам предстоит разрабатывать и поддерживать data pipelines, модифицируя Lambda, SQL и processing jobs, а также рефакторить код для приёма внешних данных. Вы будете добавлять и автоматизировать проверки качества данных, проектировать и оптимизировать модели данных в формате Iceberg для «silver» и «gold» слоёв, а также оптимизировать запросы и производительность, обеспечивая надёжность пайплайнов. Документирование процессов подготовки данных и хранение кода в GitLab с версионированием также будет частью ваших обязанностей. Для успешного выполнения задач требуется 4–6 лет опыта в Data Engineering, а также опыт проектирования масштабируемых и поддерживаемых пайплайнов. Уверенные навыки Python для разработки data pipeline, опыт TDD и AI-assisted coding будут преимуществом. Глубокие знания SQL, оптимизация запросов и аналитическое моделирование являются обязательными. Вы должны иметь опыт работы с DBT (Core или Cloud), модульными SQL-трансформациями, тестированием и документацией. Знание оркестрации (Airflow), наблюдаемости данных, мониторинга и восстановления при сбоях также необходимо. Опыт работы с AWS: Athena, Lambda, Aurora, EventBridge, Glue, SageMaker; оптимизация Iceberg/Spark нагрузок будет важным аспектом вашей работы. Стек технологий включает Python, SQL, Iceberg, Athena, Spark, DBT, Airflow, AWS (Lambda, Aurora, EventBridge, Glue, SageMaker), GitLab, CI/CD, IaC. Компания предлагает стабильное трудоустройство, так как она на рынке с 2008 года и имеет более 1800 сотрудников. Вы сможете работать удалённо с опцией офиса, а также получите гибкий график и разные формы контракта. Также доступны программы поддержки благополучия и workation. С первого дня у вас будет доступ к Udemy, программы сертификаций и обучение, а также вводный Buddy для помощи в адаптации.