使用scrapy+splash+Lua脚本实现滚轮动态加载爬取CSDN
爬取CSDN的时候发现,csdn需要一直使用鼠标滑轮下拉,动态加载使用Lua脚本,详细解释见官方文档https://splash.readthedocs.io/en/stable/function main(splash, args) splash:go(args.url) local scroll_to = splash:jsfunc("window.scrollTo")...
原创
2018-09-28 15:56:57 ·
4668 阅读 ·
8 评论