平常看小说总是有更新,网站上百度到的都是增量式爬虫,用scrapy-redis,可是我是mysql啊(我能怎么办,我也很绝望....),于是就搞搞搞,搞了个用mysql+scrapy实现的连载更新
首先,在用这个连载之前,mysql数据库里必须有一些小说的信息,比如上次小说A的最新章节,上次小说A的章节数量,小说A的来源网址(来源目录)
接来下说正题:
一,因为用到了Mysql,所以要关联mysql,请看我的目录结构
新建了个model,里面是数据库操作
二、接下来是爬虫逻辑
这里因为从mysql中的来源连接是一个list,但是你不能把这个list直接给scrapy里的start_urls,所以在这里进行了转换也就是第一个for,接着使用回调parse,这里注意一定是parse(忘记之前是看哪位仁兄的,如果看到,请告诉我,我补上连接)
接下来,写了个查询数据库的逻辑,是因为,之后在判断中需要用到,这样可以防止不符合条件的书籍爬取下来
接下来,做的是对网站的某一本小说的目录进行爬取,获取最新的网页链接
现在,就需要对数据进行判断了,看看需要爬取的小说是不是更新了,是不是该爬了
这里写了个scrapy+mysql实现连载小说更新的大!致!逻!辑!大!致!逻!辑!大!致!逻!辑!(重要的事,说三遍)
因为某些原因,不能把代码开源,所以看看逻辑怎么实现就好
各位大佬不喜勿喷,小弟在此跪谢!OTZ