Data Engineer — обработка данных для VLM@ Сбер

О позиции

Компания Сбер ищет Data Engineer для работы над проектом GigaChat Vision. Ваша задача будет заключаться в сборе и структурировании данных для обучения и улучшения Vision-Language Models (VLM). Вы будете работать в команде, которая стремится к созданию высококачественных датасетов и эффективных пайплайнов обработки данных.

Чем вы будете заниматься

• Собирать и структурировать потребности ML-команды в данных для обучения и дообучения VLM.
• Предлагать и реализовывать идеи пайплайнов очистки, фильтрации и генерации данных.
• Ориентироваться в современных практиках построения датасетов для Vision-Language Models.
• Отвечать за инфраструктуру хранения и подготовки данных, включая импорт данных из различных источников.
• Проектировать и реализовывать пайплайны обработки данных на большом масштабе.
• Разрабатывать пайплайны генерации синтетических данных для обучения VLM.
• Собирать статистику по данным и строить отчёты для анализа качества и покрытия датасетов.
• Обеспечивать воспроизводимость и надёжность data-процессов.

Требования

• Сильный опыт в data engineering и построении production-grade data pipelines.
• Уверенное владение Python, включая multiprocessing и async-подходы.
• Опыт работы с большими объёмами данных и распределённой обработкой.
• Практический опыт с объектными хранилищами, такими как S3.
• Опыт работы с системами для распределённого хранения и обработки данных.
• Понимание принципов валидации и очистки данных.
• Опыт работы с DVC, Git, Docker.
• Способность самостоятельно разбираться в нечетко сформулированных задачах.

Что мы предлагаем

• Конкурентная зарплата в зависимости от опыта.
• Работа в команде профессионалов с возможностью роста.
• Доступ к современным технологиям и инструментам.
• Гибкий график работы и возможность удалённой работы.
• Корпоративные мероприятия и обучение.
• ДМС и другие социальные гарантии.