Добавление элемента ожидания при выполнении SplashRequest в Python Scrapy
Я пытаюсь очистить несколько динамических веб-сайтов, используя Splash для Scrapy в python. Однако я вижу, что Splash не может дождаться полной загрузки страницы в определенных случаях. Грубым способом решения этой проблемы было добавление большого wait
времени (например. 5 секунд в приведенном ниже фрагменте). Однако это крайне неэффективно и по-прежнему не загружает определенные данные (иногда загрузка содержимого занимает более 5 секунд). Есть ли какое-то условие ожидания элемента, которое можно поставить через эти просьбы?
yield SplashRequest(
url,
self.parse,
args={'wait': 5},
'User-Agent':"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36",
}
)
2 ответов
Да, вы можете написать сценарий Lua для этого. Что-то вроде этого:--6-->
function main(splash)
splash:set_user_agent(splash.args.ua)
assert(splash:go(splash.args.url))
-- requires Splash 2.3
while not splash:select('.my-element') do
splash:wait(0.1)
end
return {html=splash:html()}
end
перед всплеском 2.3 вы можете использовать splash:evaljs('!document.querySelector(".my-element")')
вместо not splash:select('.my-element')
.
Сохраните этот скрипт в переменной (lua_script = """ ... """
). Затем вы можете отправить такой запрос:
yield SplashRequest(
url,
self.parse,
endpoint='execute',
args={
'lua_source': lua_script,
'ua': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36"
}
}
см. раздел сценарии учебник и ссылка для получения более подробной информации о том, как писать сценарии Splash Lua.
У меня есть аналогичное требование, с таймаутами. Мое решение-небольшая модификация выше:
function wait_css(splash, css, maxwait)
if maxwait == nil then
maxwait = 10 --default maxwait if not given
end
local i=0
while not splash:select(css) do
if i==maxwait then
break --times out at maxwait secs
end
i=i+1
splash:wait(1) --each loop has duration 1sec
end
end