遇到http2.0的情况时，爬虫该怎么做

最新推荐文章于 2023-12-08 15:16:43 发布
最新推荐文章于 2023-12-08 15:16:43 发布
阅读量1.1k 收藏
点赞数
分类专栏： 爬虫 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zxlmeb/article/details/122940101
版权
当遇到网站改版采用http2.0时，传统爬虫如requests和scrapy可能无法正常工作。本文通过一个实例介绍如何使用httpx库来处理http2.0请求，包括使用charles抓包、设置httpx的http2.0支持、添加代理和处理SSL认证，从而成功进行爬虫抓取。
摘要由CSDN通过智能技术生成

分享一个之前做做过的项目,一个美国的外卖平台Doordash.

前期开发很顺利,程序正常跑了4个月左右 ，突然间网站改版，之前的接口位置并未改动，改版后还在那个原位置没有动，可是，一直请求不到，找了好长时间，才发现是http2.0的……

话不多说，肝着！

1.先看进入页面，通过charles 抓包工具进行抓包

2.观察charles抓到包的信息

3.发现抓到的包里 http请求是2.0的 http2.0对爬虫很不友好，因为requests不支持http2.0的请求，scrapy框架只是支持最基础的http2.0的请求， 那么就该导入我们今天的主角了，httpx！httpx支持http2.0的请求

 4.使用httpx

httpx添加代理(httpx.Client)

最低0.47元/天 解锁文章
我是一匹村民
关注
专栏目录
py爬虫weibo-crawler-master
04-20
- 分享链接通常包含一个提取码，下载时需要输入该提取码才能获取文件。 **实战案例分析：weibo-crawler-master项目详解：** - **项目简介**：weibo-crawler-master是一个使用Python编写的微博爬虫项目，可以从百度...
【Web协议详解与抓包实战】DNS、WebSocket、http2.0、TLS/SSL、TCP
weixin_43668630的博客
08-23 1168
DNS 当在浏览器输入域名www.baidu.com时，首先在浏览器缓存中查看是否有DNS记录，再在操作系统缓存中查找是否有DNS记录，如果都没，访问本地DNS服务器。 本地DNS服务器存在两种查询方式：迭代查询、递归查询 迭代查询： 本地DNS服务器将请求发给根域名服务器。根域名服务器返回顶级域名服务器.com的IP地址。 再由本地DNS服务器向顶级域名服务器.com发起请求，顶级域名服务器返回二级域名服务器的.baidu.com的IP地址。 再由本地DNS服务器向二级域名服务器.baidu发起请求，二级
爬虫漫游指南：HTTP/2 网站爬取
shayuchaor的博客
05-16 5812
最近写爬虫的时候遇到了一个用HTTP 2.0协议的网站，requests那套老经验在它身上不好用了，得专门针对HTTP 2.0进行开发。 因为与HTTP 1.x的爬虫颇有区别，所以写篇文章记录一下。考虑到大多数读者应该更关心实践操作，所以本文会采取倒金字塔结构，首先介绍HTTP 2.0的爬虫代码该怎么写，然后在慢慢讲解HTTP 2.0的基础理论知识。
python爬取 HTTP_2 网站超时问题的解决方案
最新发布
Z_suger7的博客
12-08 1350
在使用 Python 编写爬虫程序爬取 HTTP/2 网站时出现超时问题，可以通过设置下载超时时间、检查爬虫代码、使用代理、更新 Python 版本等方法来解决问题。如果仍然无法解决，建议与网站管理员联系，寻求他们的帮助和反馈。
安卓okhttp3使用http2.0
zhtttyyzc的专栏
07-01 6532
implementation 'com.squareup.okhttp3:okhttp:3.9.0' 我用的是3.9.0版本，调用http2.0代码如下 fun setDefaultClient(): Builder { myOkHttpClient = OkHttpClient.Builder() .cookieJar(CookieManger()) ...
HTTP协议深入理解+如何使用Fiddler抓包
xyk：的博客
05-28 3185
HTTP (全称为 "超文本传输协议") 是一种应用非常广泛的 应用层协议，目前主要使用的是HTTP1.1和HTTP2.0, 在本篇中主要介绍的是HTTP1.1版本, HTTP往往是基于传输层的TCP协议实现的.所谓 “超文本” 的含义, 就是传输的内容不仅仅是文本(比如 html, css 这些个就是文本), 还可以是一些其他的资源, 比如图片, 视频, 音频等二进制的数据.我们平时打开一个网站, 就是通过 HTTP 协议来传输数据的。
C#多线程爬虫抓取免费代理IP的示例代码
01-01
然后直接创建一个控制台应用，将我下面的代码COPY替换就可以运行,下面就来讲讲我两年前做爬虫经历，当时是给一家公司做，也是用的C#，不过当时遇到一个头痛的问题就是抓的图片有病毒，然后系统挂了几次。所以抓网站...
Java网络爬虫EggJava.zip
07-16
作为开发者，在开发出简单易懂，容易使用的软件做着努力，所以，初学者我认为也应该很容易可以从它里面获取自己想要的。大家可以阅读源码，熟悉代码流程，和相关包的使用。 希望 作为开发者当然希望越来越多的人使用...
[其他类别]UrlRewriter Java v2.0 RC1_urlrewriterjava.zip
11-18
此外，该工具还支持URL的重定向，这对于网站重构或内容迁移时保持链接的持久性非常有用。 【核心知识点】： 1. **URL重写**：URL重写是将动态URL转化为静态URL的技术，使得原本包含多个参数的URL变得简洁，便于用户...
基于Ajax仿真的分布式OSN爬网系统
02-24
文章提到，为了解决传统网络爬虫系统在爬取OSN数据时遇到的难题，采用了面向消息中间件（MOM）和Ajax仿真的分布式系统设计。面向消息中间件（MOM）是一种应用架构，通过使用消息队列来促进应用程序间的通信，通过...
HTTP/2.0 - 最新超强反爬虫方案!(禁用所有 HTTP 1.x 的请求)
老鹰的博客
06-01 2417
现在很多爬虫库其实对 HTTP/2.0 支持得不好，比如大名鼎鼎的 Python 库 —— requests，到现在为止还只支持 HTTP/1.1，啥时候支持 HTTP/2.0 还不知道。
Web协议详解与抓包实战之HTTP/2【三】
weixin_39664643的博客
11-27 1122
HTTP/2 特性/流、消息、帧的关系/帧类型与格式结合wireshark抓包学习
【Charles】Charles2 抓包手机端https请求
loehuang的专栏
11-25 1285
3.1 电脑端 安装根证书 证书安装位置在 受信任的根证书颁发机构 3.2 电脑端 开启手机浏览器安装根证书如下图 3.3手机端 安装并信任证书，手机端必须跟电脑端在同一WIFI下,设置WiFi手动代理 3.4 手机端 访问 http://chls.pro/ssl 下载证书 或者可以在通用→描述文件与设备管理中查看 3.5 手机端 信任证书设置，在关于本机-> 证书信任设置 这样电脑端和手机端都已经安装好证书，之后手机端访问...
十分钟学会Charles抓包(iOS的http/https请求)
l_215851356的专栏
12-30 6893
转载地址：http://www.jianshu.com/p/5539599c7a25 Charles安装HTTP抓包HTTPS抓包 1. Charles安装 官网下载安装Charles: https://www.charlesproxy.com/download/ 2. HTTP抓包 （1）查看电脑IP地址 （2）设置手机HTTP代
http2.0爬虫解决方案
自成背后的博客
07-28 4067
文章目录 scrapy2.5.0 2021.4更新开始支持HTTP2.0，但是官网明确提示，现在是实验性的功能，不推荐用到生产环境，当前 Scrapy 的 HTTP/2.0 实现的已知限制包括： 不支持 HTTP/2.0 明文（h2c），因为没有主流浏览器支持未加密的 HTTP/2.0。 没有用于指定最大帧大小大于默认值 16384 的设置，发送更大帧的服务器的连接将失败。 不支持服务器推送。 不支持bytes_received和 headers_received信号。 关于其他的一些库，也不必多说了，对
Charles 抓包使用教程
weixin_44267253的博客
02-27 6302
Charles 抓包使用教程
Python爬虫：动态获取页面
探索人工智能领域
09-19 1822
​ 您可以在互联网上找到许多文章来帮助您抓取动态网站。这篇文章是我抓取Doordash.com 的方法。一切都是逐步进行的。 ​
Nginx配置文件nginx.conf中文详解（转）
weixin_30740295的博客
11-13 556
######Nginx配置文件nginx.conf中文详解##### #定义Nginx运行的用户和用户组 user www www; #nginx进程数，建议设置为等于CPU总核心数。 worker_processes 8; #全局错误日志定义类型，[ debug | info | notice | warn | error | crit ] error_log /u...
python使用hyper爬取http2.0协议的网页数据
有问题请发邮箱dengyifanlittle@163.com进行讨论
02-22 2680
最近在对港交所数据进行爬取时遇到些问题，港交所使用的事http2.0协议，其余的绝大多数是使用http1.1协议，因此导致无法爬取，最后发现使用hyper即可。 先安装：pip install hyper 接着导入hyper： from hyper import HTTPConnection API链接地址：https://hyper.readthedocs.io/en/latest/index.html 使用hyp...
requests http2.0
08-30
目前，requests库并不直接支持HTTP/2.0协议。根据引用的信息, 目前requests库仍然只支持HTTP/1.1协议，暂时还没有具体的计划支持HTTP/2.0协议。如果你需要在Python中使用HTTP/2.0协议，可以考虑使用其他库，比如Aiohttp或Httpx，它们对HTTP/2.0有更好的支持。另外，引用提到，如果你在Scrapy中想要使用HTTP/2.0，可以在settings.py文件中更改Download Handlers的设定，具体的代码如下：DOWNLOAD_HANDLERS = { 'https': 'scrapy.core.downloader.handlers.http2.H2DownloadHandler', } 这样Scrapy就可以使用HTTP/2.0进行数据下载了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [python爬虫之针对http2.0的某网站爬取](https://blog.csdn.net/weixin_41951954/article/details/122846963)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值