python Scrapy 编写自定义管道，将数据保存到 json 文件中

最新推荐文章于 2021-09-18 16:54:15 发布
最新推荐文章于 2021-09-18 16:54:15 发布
阅读量499 收藏
点赞数
分类专栏： 爬虫程序 Python 数据存储 文章标签： Scrapy 管道 pipeline json
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zz24_com/article/details/103653416
版权
本文介绍了如何使用Scrapy框架创建一个爬虫项目，抓取豆瓣电影页面上的电影信息，包括中文名、英文名、URL、类型等，并通过自定义管道将数据保存到JSON文件中。通过设置items.py、pipelines.py和settings.py，实现了数据的高效存储。爬虫程序模拟了浏览器行为，以避免IP被封禁，最终成功将数据保存在JSON文件中。
摘要由CSDN通过智能技术生成

本文是对《scrapy网络爬虫实战》一书中，第5.2节内容的重写，由于伯乐在线网站代码有较大改动，原书中代码已经失效。

以下示例演示了

抓取https://movie.douban.com/explore#!type=movie&tag=%E7

%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0中电影的中文名、英文名、url 地址、类型、图片、导演、主演、编剧、国家地区、上映时间、电影语言、评分、剧情等信息。（简化了，没有提取划掉的信息，太耗时间了。）

（1）创建项目：scrapy startproject movies

（2）使用genspider创建爬虫文件：

最低0.47元/天 解锁文章
优木
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy 自定义管道保存图片、json、csv文件格式以及MySQL
weixin_42657103的博客
08-13 2366
在上一篇博客中，简单的介绍了系统自带的管道保存方法，今天来讲一下如何用自定义的管道来保存文件以及图片。 1.保存图片： 开始的步骤，保持不变，成功获取数据后，进入到pipeline.py里面，引入 from scrapy.pipelines.images import ImagesPipeline, 并且继承 ImagesPipeline （如下图）： import scrapy # Im...
scrapy将数据载入json文件
之度的博客
07-18 266
在pipeline文件加入如上代码。
scrapy框架-将数据写入json文件
weixin_34220834的博客
07-13 1421
使用背景 有时候为了做测试，不想去数据库设置字段，设置musql字段实在是太麻烦了，这种情况下可以先把存储到json文件中，并观察数据的正确性，如果数据没问题了，再改成mysql存储即可。 有时候任务本身就是要存储进json文件中。 有时候为了更好的阅读数据，看结构，json文件是一个不错的选择 ...
python中Scrapy实战之爬取网页并保存为json文件
Li_peipei的博客
08-13 2218
创建spider文件Bookchina.py： import scrapy from scrapy import Request from MyScrapy.items import BookChina class BookchinaSpider(scrapy.Spider): name = 'Bookchina' #allowed_domains = ['blog.jobb...
Scrapy爬虫框架—自定义Pipelines将文件以Json格式存储
本以为成功很简单，没想到活成普通人都需拼尽全力！
08-07 1164
我们可以在终端内输入命令，这个就是scrapy自带将文件保存为Json格式的命令。 scrapy crawl xxx -o xxx.json -s FEED_EXPORT_ENCODING=utf-8 本次的内容，我们将通过自定义pipelines将文件以Json格式存储。 我们这次以爬取小说为例。小说网址：https://www.hongxiu.com/，点击进入这个网址，我们这次想要获...
Scrapy框架学习（二）----Item Pipeline(管道)和Scrapy Shell
Widsom的博客
11-29 5177
Scrapy框架学习（二）—-Item Pipeline(管道)和Scrapy ShellItem Pipeline（管道）当Item在Spider中被收集之后，它将会被传递到Item Pipeline，一些组件会按照一定的顺序执行对Item进行处理。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是Item Pipeline的典型应用： 验证爬
PythonCrawler-Scrapy-Mysql-File-Template, scrapy爬虫框架模板，将数据保存到Mysql数据库或者文件中。.zip
09-17
2. **文件存储**：另一种常见的存储方式是将数据保存到文件，如CSV或JSON格式。Scrapy内置了`csv_item_exporter`和`json_item_exporter`，只需在settings.py中启用相应的导出器，即可将数据写入文件。 ### 四、实战...
Python 爬虫Scrapy课件源码
最新发布
05-27
对于数据的存储，Scrapy不仅支持常见的文本文件、CSV或JSON，还可以通过Pipeline将数据直接存入数据库，如MySQL、MongoDB等。这使得抓取的数据可以直接应用于后续分析。 至于可视化，课件可能会涵盖如何使用...
Python-基于pythonscrapy框架抓取豆瓣影视资料
08-10
你可以通过编写自定义的`Pipeline`类来处理数据，比如存入数据库（如SQLite、MySQL）或者文件系统（如CSV、XML）。 **8. 扩展与优化** - **处理反爬机制**：豆瓣等网站可能会有反爬策略，如验证码、User-Agent限制...
python scrapy
05-20
默认情况下，Scrapy将数据输出为JSON文件。如果需要将数据保存到数据库或CSV，可以通过自定义Item Pipeline实现。例如，我们可以创建一个将数据保存到SQLite数据库的Pipeline： ```python from sqlalchemy import ...
python爬虫实例之拉钩网职位信息（更新日期2018年4月21日，使用scrapy，保存到本地json和mongo、mysql（同步和异步）数据库）
04-22
在scrapy框架里爬取拉勾网职位信息，利用抓包工具，构造请求头和formdata，利用cookie，实现资源的爬取（最新拉钩网反爬虫破解） Pipelins中包含写入本地json、mongoDB、mysql（同步）、mysql（异步），可通过settings设置选用
Python-Scrapy练习项目利用Scrapy抓取古诗
08-10
爬取的数据将按照我们在Pipeline中设定的方式保存，通常是JSON格式，例如保存到一个名为`gushiwen.json`的文件中。 **六、注意事项** 1. 尊重网站的robots.txt文件，遵循网络爬虫伦理。 2. 避免过于频繁的请求，...
Java简单实现爬虫，抓取整个网站所有链接+图片+文件（思路+代码）
热门推荐
Xie Tiansheng的博客
03-12 3万+
Java简单实现爬虫技术，抓取整个网站所有链接+图片+文件（思路+代码） 写这个纯属个人爱好，前两天想玩爬虫，但是百度了一大圈也没发现有好一点的帖子，所以就自己研究了下，亲测小点的网站还是能随随便便爬完的，由于是单线程所以速度嘛~~你懂的 （多线程没学好，后期再慢慢加上多线程吧） 先上几张效果图 需要用到的知识点 网络请求（至于用哪个嘛，看个人喜好，文章用的...
Scrapy存储json
Aunean's Blog
09-18 497
Scrapy存储json 1.使用终端指令行方式 指令：scrapy crawl xxx -o filePath.文件类型 -s FEED_EXPORT_ENCODING=utf-8 -s FEED_EXPORT_ENCODING=utf-8 解决中文乱码 注意：持久化存储对应的文本文件类型只可以为 ‘json’, ‘jsonlines’, ‘jl’, ‘csv’, ‘xml’, ‘marshal’, ‘pickle’ 类型 2.直接创建并写入 json 文件 import os import cod
scrapy自定义管道实现图片分组保存
小楼一夜听春雨
07-21 791
1. 环境 1. 安装python 3.6+版本环境 2. 安装好scrapy以及image 安装命令: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy pip install -i https://pypi.tuna.tsinghua.edu.cn/simple image 2. 创建Crawl
python scrapy抓取返回为json数据格式的内容
ken2999的博客
08-04 1万+
现在有很多网站的页面数据都是通过ajax获取数据，或者接口api的链接，返回json格式的数据，再渲染到页面。 这时使用Selectors选择器抓取就行不通了。解决方法，很简单，使用 json.loads 方法就可以获取到json数据了。 json数据 {"k":"086,05,11,35,34,45,03,28,087,08,04,六,21点30分","t":"1000","联系":"Q.
scrapy----将数据保存为json文件
qq_38661599的博客
07-06 4901
方法一:通过在cmd中输命令来实现scrapy crawl novel -o novel.json -s FEED_EXPORT_ENCIDING=UTF-8job为爬虫名称(name)scrapy将数据保存为csv文件: scrapy crawl novel -o novel.csv -s FEED_EXPORT_ENCIDING=UTF-8方法二:通过pipelines实现1.自定义自己的pi...
scrapy爬虫之数据保存和管道
fengzhilaoling的博客
07-14 1509
数据保存 在scrapy中负责数据导出的组件被称作Exporter，scrapy支持的数据导出格式有：json、json lines、csv、XML、pickle、Marshal 如果想使用其他的格式不如Excel，可以通过重写Exporter来实现(小编一般都通过管道的方式) scrapy中数据保存可以使用两种方式： 命令方式：scrapy crawl 标识 -t 格式 -o 文件名 配置文件方式：Exporter方式和管道的方式 命令方式 scrapy crawl 标识 -t 文件格式 -o 文
Python写的一个身份证验证程序
Python Supporter
04-09 7690
住院期间闲来无事，学了下比较流行的Python语言，用了一周，学得过于快了。写了个身份证号码验证程序。 一段时间后，发现存在重大问题，所以不辞劳苦又大改了一下。感兴趣的可以试一试，还是有问题的话，请留言。 from datetime import datetime class IDnumber(object): '''身份证号码类''' #类属性 IDnumber.address_co...
scrapy框架爬取数据保存为json文件
05-27
好的，使用 Scrapy 框架爬取数据并将数据保存为 JSON 文件可以按照以下步骤进行： 1. 创建一个新的 Scrapy 项目，可以使用以下命令： ``` scrapy startproject project_name ``` 2. 在项目中创建一个新的 Spider，可以使用以下命令： ``` scrapy genspider spider_name domain.com ``` 其中 spider_name 是你的 Spider 名称，domain.com 是你要爬取数据的网站域名。 3. 在 Spider 中编写代码来爬取数据，你可以使用 Scrapy 提供的选择器来定位数据。 4. 在 settings.py 文件中设置输出格式为 JSON，可以使用以下代码： ``` FEED_FORMAT = 'json' FEED_URI = 'output.json' ``` 其中 FEED_FORMAT 表示输出格式为 JSON，FEED_URI 表示输出文件的路径和文件名。 5. 运行 Spider 并输出数据到 JSON 文件，可以使用以下命令： ``` scrapy crawl spider_name -o output.json ``` 其中 spider_name 是你的 Spider 名称，output.json 是你要输出的 JSON 文件名。 完成以上步骤，你就可以使用 Scrapy 框架爬取数据并将数据保存为 JSON 文件了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值