scrapy爬取结果输出为json文件时,中文默认为unicode编码,网上找了很多,都非常不靠谱。这里给出最简单的一种做法:
pipelines.py
import json class LianjiaPipeline(object): def __init__(self): self.file = open('items.json', 'w') def process_item(self, item, spider): line = json.dumps(dict(item), ensure_ascii=False) + "\n" self.file.write(line) return item
注意:
ensure_ascii=False这个参数不可以少!