builtins.ModuleNotFoundError: No module named 'scrapy.contrib'
错误原因: 旧模块被弃用
解决办法
查看对应自己所用scrapy版本的官方文档,找到解决办法。
将上述代码修改如下,问题解决。
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 20,
}
附其它中间件写法