scrapy
关注
分享
扫一扫
zhouls007
这个作者很懒，什么都没留下…
展开
-
将scrapy爬虫框架爬取到的数据存入mysql数据库
使用scrapy爬取网站数据，是一个目前来说比较主流的一个爬虫框架，也非常简单。 1、创建好项目之后现在settings.py里面把ROBOTSTXT_OBEY的值改为False，不然的话会默认遵循robots协议，你将爬取不到任何数据。 2、在爬虫文件里开始写你的爬虫，你可以使用xpath，也可以使用css选择器来解析数据，等将数据全部解析完毕之后再items文件里面去声明你的字段im...原创 2018-10-17 19:21:44 · 9069 阅读 · 0 评论 -
scrapy爬虫框架中数据库（mysql）的异步写入
数据库的异步写入scrapy爬虫框架里数据库的异步写入与同步写入在代码上的区别也就在pipelines.py文件和settings.py问价的区别，其他的都是一样的。本文就介绍一下pipelines.py和settings.py文件里面是如何配置的。 1、先到settings.py文件里面配置数据库的相关字段 2、先在pipelines.py文件里面导入相关模块import p...原创 2018-10-17 19:21:16 · 3834 阅读 · 0 评论