当你抓取了你要的数据(Items),你希望能合适的保存爬取到的数据,或者说,生成一个带有爬取数据的”输出文件”(通常叫做”输出feed”),来供其他系统使用。
Scrapy自带了Feed输出,并且支持多种序列化格式(serialization format)及存储方式(storage backends)。而Feed输出使用到了 Item Exporters。
如果你是想单纯的将数据输出或存入文件,那直接可以用Scrapy提供的现成类。如果想要知道Item Exporters是怎么工作的或需要自定义功能,就需要深入了解Item Exporters的运行机制。
为了使用 Item Exporter,你必须对 Item Exporter 及其参数 (args) 实例化。每个 Item Exporter 需要不同的参数 。在实例化了 exporter 之后,你必须:
- 调用方法start_exporting()以标识过程的开始。
- 对要导出的每个item调用export_item() 方法。
- 最后调用finish_exporting()表示过程的结束
BaseItemExporter
-
class
scrapy.contrib.exporter.
BaseItemExporter
(
fields_to_export=None
,
export_empty_fields=False
,
encoding='utf-8'
)