使用scrapy+splash+Lua脚本实现滚轮动态加载爬取CSDN
爬取CSDN的时候发现,csdn需要一直使用鼠标滑轮下拉,动态加载
使用Lua脚本,详细解释见官方文档https://splash.readthedocs.io/en/stable/
function main(splash, args)
splash:go(args.url)
local scroll_to = splash:jsfunc("window.scrollTo")
...
原创
2018-09-28 15:56:57 ·
4630 阅读 ·
8 评论