Разработчик API и веб-скрейпинга — интеграция данных в реальном времени

О позиции

Мы ищем разработчика API и веб-скрейпинга для создания интеграции данных в реальном времени. Ваша задача будет заключаться в разработке единого решения, которое будет подключаться к внешним API и осуществлять скрейпинг выбранных страниц, когда конечная точка недоступна. Это позволит создать бесшовный поток данных, который будет собирать, нормализовать и хранить информацию для отображения на нашем сайте.

Чем вы будете заниматься

• Разработка API-слоя для подключения к доступным REST или GraphQL конечным точкам, управление ключами аутентификации и токенами, управление лимитами запросов и возврат чистого JSON.
• Создание резервного скрейпера, который будет запускаться при отсутствии API, используя Python и Scrapy/BeautifulSoup с ротацией прокси и базовыми методами обхода защиты от ботов.
• Обработка данных: запись в существующую базу данных MySQL, пометка обновлений и триггер обновления контента на сайте.
• Автоматизация и мониторинг: планирование задач через cron или легкую очередь, ведение логов успехов/неудач и отправка уведомлений в случае ошибок.
• Документация: создание кратких заметок по настройке и комментариев в коде для дальнейшего обслуживания или расширения скриптов.
• Проведение короткой Zoom/Meet презентации по завершении проекта.

Требования

• Опыт разработки API и веб-скрейпинга.
• Знание Python, Scrapy и BeautifulSoup.
• Опыт работы с MySQL и PHP.
• Понимание архитектуры программного обеспечения.
• Способность создавать надежные и структурированные выходные данные.
• Готовность к быстрому старту проекта.

Что мы предлагаем

• Конкурентоспособная оплата труда от 1000 до 5000 USD в месяц.
• Удаленная работа с гибким графиком.
• Возможность работать над интересными проектами с использованием современных технологий.
• Поддержка в обучении и развитии навыков.
• Доступ к ресурсам для улучшения производительности.
• Дружелюбная команда и поддерживающая атмосфера.