scrapy框架-ItemPipeline
调用时间: 当Item在Spider中被收集之后,它将会被传递到Item Pipeline,一些组件会按照一定的顺序执行对Item的处理。
功能:
- 清理HTML数据
- 验证爬取的数据(检查item包含某些字段)
- 查重(并丢弃)
- 将爬取结果保存到数据库中
一、一个自己的Pipeline类
必须实现以下方法:
-
process_item
(self, item**,** spider**)**-
每个item pipeline组件都需要调用该方法,这个方法必须返回一个具有数据的dict,或是
Item
(或任何继承类)对象, 或是抛出DropItem
异常,被丢弃的item将不会被之后的pipeline组件所处理。 -
参数:
- item (
Item
对象或者一个dict) – 被爬取的item - spider (
Spider
对象) – 爬取该item的spider
- item (
-
-
open_spider
(self, spider)当spider被开启时,这个方法被调用。参数:spider (
Spider
对象) – 被开启的spider -
from_crawler
(cls,crawler)如果存在,则调用该类方法以从中创建管道实例
Crawler
。它必须返回管道的新实例。搜寻器对象提供对所有Scrapy核心组件(如设置和信号)的访问;这是管道访问它们并将其功能挂钩到Scrapy中的一种方法。
-
close_spider
(self, spider)当spider被关闭时,这个方法被调用参数:spider (
Spider
对象) – 被关闭的spider
二、启用一个Item Pipeline组件
为了启用一个Item Pipeline组件,你必须将它的类添加到 ITEM_PIPELINES
配置,就像下面这个例子:
ITEM_PIPELINES = {
'myproject.pipelines.PricePipeline': 300,
'myproject.pipelines.JsonWriterPipeline': 800,
}
分配给每个类的整型值,确定了他们运行的顺序,item按数字从低到高的顺序,通过pipeline,通常将这些数字定义在0-1000范围内。