Python разработчик для автоматизации сбора данных (Web Scraping)

О позиции

Мы ищем опытного Python разработчика для автоматизации процессов сбора данных для нашего веб-приложения по агрегированию публичных уведомлений. Ваша задача будет заключаться в создании скрипта, который будет ежедневно извлекать данные из более чем 500 электронных газет и сохранять их в структурированном виде.

Чем вы будете заниматься

• Автоматизированный сбор данных: ежедневное извлечение изображений/разделов "Публичные уведомления" из 500+ веб-сайтов на основе предоставленного списка.
• Хранение: все извлеченные изображения должны загружаться в Google Drive (через Google Drive API) в организованные папки (по дате/району).
• OCR и парсинг: использование Google Cloud Vision API для извлечения текста из изображений (поддержка языков маратхи и хинди).
• Форматирование данных: каждый текст уведомления должен начинаться с обязательной строки источника.
• Обновление базы данных: финализированный текст (с строкой источника) должен быть загружен в базу данных Firebase Firestore.
• Оптимизация затрат: весь скрипт должен быть оптимизирован для работы на Google Cloud Functions, чтобы минимизировать операционные расходы.

Требования

• Профессиональные навыки в Python и библиотеках для веб-скрапинга (Selenium, Scrapy и т.д.).
• Опыт работы с Google Drive API и Google Cloud Vision API.
• Сильное понимание Firebase Firestore и Cloud Functions.
• Способность обрабатывать точность OCR для маратхи/хинди и форматирование шрифтов.
• Опыт использования Gemini API для автоматизированной очистки и форматирования текста будет плюсом.

Что мы предлагаем

• Полностью функциональный автоматизированный скрипт.
• Интеграция с существующей настройкой Firebase/React.
• Четкая документация о том, как обновлять список URL газет в будущем.
• Гибкий график работы и возможность удаленной работы.
• Конкурентоспособная оплата труда.