利用Scrapy框架爬取数据命令行保存成csv出现乱码的解决办法

Scrapy是一个很好的爬虫框架，但是在我们把爬取的数据保存成csv的时候，我们常常会发现，保存下来的数据是乱码，网上也搜索了很多中解决办法，但是很多都是解决不了，先总结下来。

 

我们在命令行里执行Scrapy框架的时候的步骤如下：

1，首先我们先进入我们spider的目录

cd /Users/zhaomeng/licaiproduct/licaiproduct/spiders

2，执行爬虫文件

scrapy crawl licaiproduct

 

但是我们常常想把数据保存为excel的格式，所以我们常常会使用如下的办法：

1.使用命令行

scrapy crawl licaiproduct -o XXXX.csv -s FEED_EXPORT_ENCIDING=utf-8,例如 这个博客所示：解决办法 ，但是我尝试里该篇博客的第一个方法后，打开后还是出现了乱码，所以该篇博客第一种解决办法并不能很好的解决。

 

2.使用第三方软件修改编码格式

notepad2打开，选择编码ANSI，保存，再用excel打开就是正常的了，（没测试，感觉很鸡肋）

3.使用Scrapy框架的优势，代码生成excel。

很多博客都有所涉及，链接如下：代码生成  （没测试，很麻烦）

 

最后的解决办法

在创建项目的settings.py中，添加如下代码 
FEED_EXPORT_ENCODING = 'gb18030'

即可解决乱码问题。