Безголовый браузер для Python (требуется поддержка Javascript!) [закрытый]
Мне нужен безголовый браузер, который довольно прост в использовании (я все еще довольно новичок в Python и программировании в целом), который позволит мне перейти на страницу, войти в форму, требующую Javascript, а затем очистить полученную веб-страницу, выполнив поиск результатов, соответствующих определенным критериям, установив флажки и нажав кнопку Загрузить файлы. Все это требует Javascript.
Я слышу, что безголовый браузер - это то, что я хочу-требования / предпочтения, которые я могу запустите его с Python, и желательно, чтобы полученный скрипт был компилируемым py2exe (я пишу эту программу для других пользователей).
пока ветряная мельница выглядит так, как будто это то, что я хочу, но я не уверен.
любые идеи приветствуются!
6 ответов
Я использую webkit как безголовый браузер в Python через pyqt / pyside:
http://www.riverbankcomputing.co.uk/software/pyqt/download
http://developer.qt.nokia.com/wiki/Category:LanguageBindings::PySide::Downloads
мне особенно нравится webkit, потому что он прост в настройке. Для Ubuntu вы просто использовать: sudo apt-get install python-qt4
вот пример script:
http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/
Я в середине написания драйвера Python для Zombie.js, "облегченная платформа для тестирования клиентского кода JavaScript в имитируемой среде".
в настоящее время я нахожусь в тупике по разрешению ошибки в узле.js (прежде чем я напишу больше тестов и больше кода), но не стесняйтесь следить за моим проектом по мере его продвижения:
существует не так много безголовых браузеров, которые поддерживают Javascript.
можно попробовать зомбирование.js или помощи PhantomJS. Это не Python, а простой Javascript, и они действительно могут выполнить эту работу.
попробуйте использовать phantomjs, он имеет отличную поддержку javascript. Тогда вы можете запустить его как подпроцесс скрипта python
http://docs.python.org/library/subprocess.html
Это может управлять им.
вы можете использовать HTQL в сочетании с IRobotSoft webscraper. Проверьте здесь примеры:http://htql.net/