Сбор данных из венгерской базы данных@ Freelanceroff
О позиции
Вам предстоит собрать данные из венгерской базы данных, которая открыта для общественности и не требует входа в систему. Эта база данных, к сожалению, очень медленная и требует много времени для работы, а также содержит проверки "Я не робот", что делает её трудной для сбора данных с помощью стандартных инструментов, таких как Claude или другие LLM. Мы ищем креативного человека, который сможет извлечь эти данные и преобразовать их в таблицу Excel.
Чем вы будете заниматься
- Сбор данных из венгерской базы данных, доступной по ссылке: https://knyr.mkik.hu/kivreg/nyilvantarto/kereses#.
- Работа с большим объемом данных, включая сотни тысяч точек данных.
- Кликать по элементам и, в большинстве случаев, загружать PDF-файлы для последующей обработки.
- Использовать креативные подходы для ускорения процесса сбора данных.
Требования
- Опыт в веб-скрапинге.
- Знание Python и библиотек, таких как BeautifulSoup и Scrapy.
- Опыт работы с Selenium для автоматизации браузера.
- Навыки сбора, обработки и управления данными.
- Способность к автоматизации процессов и аннотированию данных.
Что мы предлагаем
- Оплата за проект: от 30 до 250 AUD.
- Гибкий график работы.
- Возможность работать удаленно.
- Поддержка в процессе работы и возможность обсуждения объема необходимых данных.
Вакансия предлагает интересный проект по сбору данных, однако требует значительных усилий из-за медленной базы данных и необходимости работы с PDF. Оплата варьируется, что может привлечь внимание кандидатов.
Кто здесь добьётся успеха
Глубокие знания Python и опыт работы с библиотеками BeautifulSoup и Scrapy для эффективного извлечения данных из веб-страниц.
Способность адаптироваться к медленным и нестандартным источникам данных, проявляя креативность в обходе проверок 'Я не робот' с использованием Selenium.
Умение обрабатывать и организовывать большие объемы данных, включая преобразование их в таблицы Excel, с акцентом на внимание к деталям и структурированность.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Data Processing
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев