知乎回答爬取

最新推荐文章于 2024-02-28 21:41:05 发布
最新推荐文章于 2024-02-28 21:41:05 发布
阅读量1.5k 收藏 7
点赞数 3
分类专栏： 网络爬虫篇 文章标签： 爬虫 python javascript 逆向 js
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyh960/article/details/120758976
版权

怎么爬取知乎的内容

我们一步步来分析，首先打开知乎，来到我们要爬取的页面

image-20211014093634230

然后我们再来看看它的参数

image-20211014094451722

经过测试我们要填写对应的x-zse-96我们才能获取到对应的内容才行，并且每一个API对应的zse-96都不同，因此我们就需要去破解这个参数我们才能去获取对应的内容

在这里就涉及到了js逆向思维了我们一步步来看

首先先去查找对应的js的位置再进行分析判断

image-20211014094815036

点击search，然后把x-zse-96复制进去开始查找

image-20211014094911878

image-20211014095010504

image-20211014100046755

image-20211014100239648

image-20211014100347382

image-20211014100624028

image-20211014100953498

image-20211014101110309

知道了思路，我们再来说说解法

首先先说说MD5的解法

image-20211014101532656

得到了(l()(s))值之后，我们就要去逆向去破解a（）这个函数

js代码过长，我就不在这里贴出来了，具体代码的话我放在GitHub上面了，需要的可以去自行获取

这里有一点是需要注意的因为我们用的是python来调用js这个代码，会有一些不同，所以我们要采用jsdom的方式来执行

jsdom的安装

 npm i jsdom -g

安装好之后，我们可以来测试我们的结果

image-20211014102519814

image-20211014102544730

把zse-96这个数值解出来之后，剩下的就是爬虫的基本工怎么去获取数据了，这里就不做过多的展示了

项目源码

有猫腻妖
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
爬虫实战 | 手把手用Python教你采集&可视化知乎问题的回答（内附代码）
python03011的博客
06-20 2365
爬虫实战 | 手把手用Python教你采集&可视化知乎问题的回答（内附代码）
zhihu:zhihu是一个知乎话题内容的爬虫，可以爬取知乎所有的话题相关的问答内容
05-02
zhihu说明文档 介绍 zhihu是一个知乎话题内容的爬虫，可以爬取知乎所有的话题相关的问答内容，爬虫框架使用scrapy，数据存储使用mongo。由于知乎话题的问答内容信息巨大（亿级数据量），这里只是爬取了话题广场的“阅读”话题下的所有子话题下的精华问题与回答的相关信息。 代码说明 运行环境 Windows 10 专业版 Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7 依赖包 Requests Pymongo Faker(随机切换User-Agent) 其它 知乎话题广场有33个父话题，每个父话题有不同数量的子话题，每个子话题下又有很多的精华问题，每个精华问题下有不同数量的回答，如果想要完全爬取所有的问答，由于数据量太大，耗时太久。这里选择了“阅读”话题进行数据爬取。知乎的子话题、精华问答的内容都是采用动态加载的方法进行更新获取的，在分析了其动态加载链接后，
python爬取知乎答案.py
04-29
python爬取知乎问题下的所有回答，只要输入问题的问题号就能对应爬取内容并进行提取保存成csv文件
爬虫：爬取知乎评论2024
最新发布
qq_73648490的博客
02-28 1430
继上次爬取小红书评论之后，由于比赛需要，需要爬取更多平台的评论，这里盯上了知乎同样的，爬取的数据包括了评论者昵称,评论者id,性别,地区,评论内容,评论时间,评论等级上效果图。
【2023知乎评论爬虫】我用Python爬虫爬了2386条知乎评论！
马哥的专栏
09-17 1957
马哥原创：用python爬知乎的评论，字段含：评论作者,作者性别,评论内容,作者主页,作者头像,评论时间,评论级别,点赞数,IP属地。
python scrapy 爬取学习问答网站
DwlufveX学习博客
03-14 663
详解学习爬取网站
利用网络爬虫爬取知乎回答者的信息及回答内容
qq_44635691的博客
03-01 2481
利用网络爬虫爬取知乎回答者的信息及回答内容 BB:作为入门爬虫的新手，这些天在网上找一些案例自己动手实现以下并添加自己的东西进去。 这个案例不太复杂，用到的有re、json、requests、pandas库 简单介绍下这几个库的作用： re(regular expression):它就是正则表达，用来解析html页面的信息。 常用方法： ...
Python爬虫实战一：抓取知乎问题下所有回答
TEDxPY
09-15 4731
代码是最近(2021.09)新写的~ 需求 任务需求：抓取知乎问题下所有回答，包括其作者、作者粉丝数、回答内容、时间、回答的评论数、回答赞同数以及该回答的链接。 分析 以最近比较引人关注的"大厂间要相互解除屏蔽链接问题"为例，想要拿到回答的相关数据，可以在Chrome浏览器下按F12来分析请求；但借助Charles抓包工具可以更直观地获取相关字段： 注意我标注的 Query String 参数中 limit 5 表示每次请求返回5条回答，经测试最多可以改成20；offset 表示从第几个回答开始； 而返回
知乎自动化爬虫，爬答案（包括点赞数、图片数、评论数）精选评论，selenium+mongo
Doggie060711的博客
04-18 2409
本代码详情及用法已上传到Github上：https://github.com/edisonwong520/zhihuSpider 如果觉得有用的，欢迎Star收藏，感谢～ 本人菜鸟一名，闲来无事写来玩玩，有问题请多多指教～ Github个人主页 主页上还有别的一些小工具～ 介绍 知乎爬虫：爬指定问题的所有答案（包括点赞数、图片数、评论数），以及每一个答案下的精选评论、普通评论 A web spider which can grep all the answers,comments and thumb u
selenium爬取知乎回答摘要
01-07
根据指定关键字爬取知乎的回答内容摘要，爬虫速度不快，涉及技术selenium、mongodb，爬虫可部署到服务器上，使用定时任务每小时执行一次，具体参考文章...适用人群：爬虫初学者 其他说明：爬虫具有时效性，适用于学习
Python知乎回答多线程爬虫
06-22
### 知乎回答多线程爬虫 **模式** 1. 单问题爬取模式 2. 相似问题爬取模式 **输出** ​ **文件名** 问题题目 ​ **文件内容** 1. 问题 2. 问题id 3. 回答者昵称 4. 回答者空间id 5. 回答者id 6. 回答者内容 ...
知乎问题回答信息爬取.zip
08-22
Python实现爬虫项目
Python实现爬取知乎神回复简单爬虫代码分享
12-23
看知乎的时候发现了一个 “如何正确地吐槽” ...我们要爬取两个内容：问题和回答，回答仅限于显示了全部内容的回答，如下面这种就不能爬取，因为好像无法展开（反正我不会。。），再说答案不全的话爬来也没用，所以就
python知乎回答多线程爬虫
10-03
### 知乎回答多线程爬虫 **模式** 1. 单问题爬取模式 2. 相似问题爬取模式 **输出** ​ **文件名** 问题题目 ​ **文件内容** 1. 问题 2. 问题id 3. 回答者昵称 4. 回答者空间id 5. 回答者id 6. 回答者内容 ...
用python搭建邮箱，自动收发邮箱
热门推荐
zyh960的博客
10-22 1万+
搭建邮件日报实战 1、我们需要一个开源的Linux系统 然后通过shell脚本，自动生成要发送的内容 2、我们通过python 编写邮件发送程序 发送邮件的协议是SMTP，首先我们先到邮箱的设置页面开启我们的服务 # 下面编写 发送邮件正文的Python 脚本 send.py # 两个函数, 第一个基础功能发送邮件, 只包含正文, 第二个发送带有附件的邮件, 并抄送对应邮件地址 # -*- coding: UTF-8 -*- import smtplib from email.header im
数据分析之前程无忧（一）
zyh960的博客
08-18 1万+
数据分析之前程无忧（一） 这个是我们要爬取的网站：前程无忧 前程无忧的网站是一个动态网站来的，单纯去抓取是无法抓取的，所以我们得找到他的接口，打开网站按f12 选择network选项卡 显然这个就是我们需要的找到的接口了 根据他给出来的URL接口https://search.51job.com/list/000000,000000,0000,00,9,99,%25E5%25AF%25BC%25E6%25B8%25B8,2,1.html?lang=c&postchannel=0000&wo
数据分析之数据清洗（四）
zyh960的博客
08-18 1万+
旅游招聘数据分析之数据清洗（四） 在获取完我们的数据之后，就需要我们对数据进行清洗了，这个是一件很头疼的事情，麻烦，工作量大，首先我们先对我们的数据进行查重，毕竟那么多网站，有很多重复的，这些数据不仅没用而且还会增加我们的工作量，浪费时间，所以首先第一步就是查重了。建议最好先把全部数据放到一个Excel文件里面 import pandas as pd data= pd.DataFrame(pd.read_excel('数据大集成.xlsx','Sheet1')) no_re_row = data.drop_
数据分析之拉勾网（三）
zyh960的博客
08-18 1万+
数据分析之拉勾网（三） 拉勾网，这里用谷歌是打不开的，只能换其他浏览器，同样和第一篇步骤一样，也是找动态接口 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 这里需要注意的是cookie，因为这里每个cookie都是不一样的，所以我们需要先获取它们的cookie，然后才能构建我们的headers，这样才能获取我们需要的信息，通过返回值把每个网页的cookie传到我们的自己搭建的headers里面，这样就可以获取到数据了 def get_cookie(): url = 'http
数据分析之大街网（二）
zyh960的博客
08-18 1万+
数据分析之大街网（二） [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 大街网的思路和上一篇思路是一样的，都是动态页面，需要我们耐心去找到他们的接口，然后根据接口给出来的URL：https://so.dajie.com/job/ajax/search/filter?keyword=%E5%AF%BC%E6%B8%B8&order=0&city=&recruitType=&salary=&experience=&page=1&pos
Python知乎回答爬虫
12-09
以下是Python爬取知乎回答的示例代码： ```python import requests from bs4 import BeautifulSoup url = 'https://www.zhihu.com/question/1234567890/answer/9876543210' headers = { 'User-Agent': 'Mozilla/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有猫腻妖

你的鼓励是我更新的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值