三个爬虫写完的坑，防止以后再发生

1.有时候scrapy运行一半就卡死，不动，但是scrapy持久化的操作又不够人性化，所以一直没有用，因此每次卡死就得重新再爬数据，要了老命了，最后查文档，看博客，搞了半天才意思到是我requests命令没加timeout=10这个，导致无限connection，因此假死，加上之后，妥了。

2.不用再scrapy里面用requests,接上文，没有requests就没有上面的第1问题了，谨记，用meta在yield Request传递数据

3.当我们使用下载中间件的process_钩子函数（例如process_response）时，return request的request是到了schedule队列中了，所以他的访问需要你运行并下载完队列前面url之后才会下载，所以，这个逻辑要明白，而不是立即下载。

4.还有就是代码需要把耦合性降低，不能合在一起。

5.以后再也不能信产品经理的需求文档，写不清楚，还得让我又改。