python scrapy mongodb的安装和使用

1 首先在网上搜索mongodb进行安装：安装64位的

2 安装mongodb的可视化操作工具：Robo 3T 1.1.1

3 安装完之后要进行配置：

先在monodb里面添加一个文件：路径（C:\Program Files\MongoDB），添加

mongo.cfg  

在这个文件下面加入下面几个字段：

logpath= C:\data\log\mongod.log

dbpath=C:\data\db

在根目录下添加data

在data里建两个文件：

log下面再建一个文件：

4 在终端开启服务，（具体操作和redis类似）

开启服务（进入bin目录文件先）

（shift+右键）在此打开命令窗口，输入如下命令：开启服务

mongod  --dbpath  C:\data\db

settings的配置：

在pipelines中的代码：

from scrapy.conf import settings

import pymongo

class JobMongoPipeline( object ):

# def process_item(self, item, spider):

# return item

def __init__ ( self ):

port = settings[ 'MONGODB_PORT' ]

host = settings[ 'MONGODB_HOST' ]

dbName = settings[ 'MONGODB_DBNAME' ]

client = pymongo.MongoClient( host =host, port =port)

tdb = client[dbName]

self .post = tdb[settings[ 'MONGODB_DOCNAME' ]]

def process_item( self , item, spider ):

work = dict (item)

self .post.insert(work)

return item