Специалист по веб-скрейпингу — автоматизация загрузки PDF@ LeadSoft

О позиции

Вам предстоит создать полный архив из 54 миллионов PDF-документов с сайта rejust.ro. Эта работа требует автоматизации и навыков веб-скрейпинга. Вы будете получать 0.1¢ за каждый успешно загруженный документ, что в итоге составит около $5,400 при полной сдаче проекта.

Чем вы будете заниматься

• Автоматизация процесса загрузки PDF-документов с сайта rejust.ro с использованием Python и Scrapy.
• Создание логической структуры каталогов для сохранения файлов, чтобы они были легко доступны и читабельны.
• Обеспечение точного именования файлов на основе заголовков страниц, чтобы избежать путаницы.
• Поддержка логов или базы данных для отслеживания URL и сохранённых путей для проверки.
• Обработка всех доступных страниц на сайте и повторная загрузка в случае неудачи.

Требования

• Опыт работы с Python и библиотеками для веб-скрейпинга (Scrapy, Playwright и т.д.).
• Знания в области автоматизации и управления данными.
• Способность организовать и структурировать большие объемы данных.
• Опыт работы с облачными хранилищами (AWS S3, GCS и т.д.).
• Знание принципов вежливого скрейпинга и обработки ошибок.

Будет плюсом

• Опыт работы с большими данными и их обработкой.
• Знание основ работы с базами данных.
• Навыки работы с Excel для анализа данных.

Что мы предлагаем

• Конкурентная оплата за выполненные задачи.
• Гибкий график работы и возможность удалённой работы.
• Поддержка в обучении и развитии навыков.
• Возможность работы над интересными проектами с большими объемами данных.
• Доступ к современным инструментам и технологиям.