【Python】py3.6请求网站时报错：http.client.RemoteDisconnected: Remote end closed connection without response

最新推荐文章于 2023-11-22 11:24:35 发布
最新推荐文章于 2023-11-22 11:24:35 发布
阅读量2.4w 收藏 35
点赞数 8
分类专栏： Python编程手册
未经许可禁止转载！
本文链接：https://blog.csdn.net/ztf312/article/details/87919027
版权
当使用Python 3.6进行网络请求时遇到`http.client.RemoteDisconnected: Remote end closed connection without response`错误，通常是由于服务器限制了User-Agent。为解决此问题，可以设置或随机生成User-Agent以模拟浏览器行为，从而避免被识别为爬虫。如果依然报错，可能是IP被封，需要考虑IP代理策略。
摘要由CSDN通过智能技术生成

爬虫代码报错： http.client.RemoteDisconnected: Remote end closed connection without response

原因：服务器限制了User-Agent的访问。

1.什么是user-agent?

 有一些网站不喜欢被爬虫程序访问，所以会检测连接对象，如果是爬虫程序，也就是非人点击访问，它就会不让你继续访问，所以为了要让程序可以正常运行，需要隐藏自己的爬虫程序的身份。此时，我们就可以通过设置User Agent的来达到隐藏身份的目的，User Agent的中文名为用户代理，简称UA。

    User Agent存放于Headers中，服务器就是通过查看Headers中的User Agent来判断是谁在访问。在Python中，如果不设置User Agent，程序将使用默认的参数，那么这个User Agent就会有Python的字样，如果服务器检查User Agent，那么没有设置User Agent的Python程序将无法正常访问网站。

    Python允许我们修改这个User Agent来模拟浏览器访问，它的强大毋庸置疑。

2. 如何突破限制？

答案是生成随机的User-Agent，即随机从预定义的user-agent中取出一个使用。常见的user-agent列表：

from random import randint

USER_AGENTS = [
 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
 "Mo
最低0.47元/天 解锁文章
兔子爱读书
关注
专栏目录
成功解决：http.client.RemoteDisconnected: Remote end closed connection without response
安静到无声
04-07 6589
运行程序超时，有时可以正常运行，有时候显示如下错误：。 问题定位 问题分析：加载模型可能是由于网络问题，导致与训练权重难以下载，从而失败。 通过远程访问github进行权重和网络模型的加载（有时候是可以成功的）： 将加载的权重和模型离线另存： 最后再加载保存的离线模型和权重即可：
加载torchvision模型时出现RemoteDisconnected: Remote end closed connection without response的解决方案
weixin_43178406的博客
12-14 4万+
本文主要介绍了加载torchvision模型时出现RemoteDisconnected: Remote end closed connection without response的解决方案，希望能对使用python加载torchvision模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Python 爬虫：http.client.RemoteDisconnected: Remote end closed connection without response 问题解决
疯魔coding君的博客
04-11 1万+
在使用 Python 爬虫库中的 urllib 或者 requests 库获取数据时，大多数网站都会对用户请求中的 User-Agent 进行检测，如果没有在请求头中设置 User-Agent，那么就会抛出如下异常： http.client.RemoteDisconnected: Remote end closed connection without response urllib 设置 User-Agent 示例如下： from urllib.request import urlopen, Req
Remote end closed connection without response
m0_50061234的博客
08-09 1万+
目录 问题描述： 1.Remote end closed connection without response 在我丰富了我的headers之后报了下面这个错误。 2.ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。 问题解决： 问题描述： 最近在python学习的时候，按照老师教的方法敲的代码（因为是过去的视频），已经不管用了。 看了网上的 原因， 1.频繁访问导致远程怀疑是恶意攻击 2.User-Agent被网
RemoteDisconnected: Remote end closed connection without response的解决方法
u010883226的专栏
05-03 3万+
根据各位大神的解释是UA（User-Agent）出现问题了， headers = {'User-Agent': 'User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'} req = ...
成功解决：python爬虫http.client.RemoteDisconnected: Remote end closed connection without response
weixin_46569877的博客
07-14 9900
python爬虫
爬虫请求网站时报错http.client.RemoteDisconnected: Remote end closed connection without response 请求网站时报错
wangyifan123456zz的博客
11-03 9532
USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0
爬取网页过程报错：RemoteDisconnected: Remote end closed connection without response
the_beginner的博客
06-28 1万+
有问题的代码： import urllib.request # 代码002：(未声明headers，会报错） response = urllib.request.urlopen("http://www.baidu.com") print(response) print(response.read()) 运行结果： Traceback (most recent call last): File "D:/PycharmProjects/pythonProject/douban/test1/temp.py"
http.client.RemoteDisconnected: Remote end closed connection without response相关问题的解决
weixin_73817187的博客
02-22 6008
这里我用的是http协议，请求的url也是http协议 ，这个位置测试网站换成https://blog.csdn.net/lovlu18 协议时，它还是可以得到响应，这个因为没有。通俗点来说，就是如果添加了UA之后，问题还没有得到解决，就看一下你请求的网站，是不是https,如果是，就改为http试一下，即建议大家使用。大多数网站都会对用户请求中的 User-Agent 进行检测，如果没有在请求头中设置 User-Agent，那么就会抛出异常。遇到这类的问题，在使用 Python 爬虫库中的。
python爬虫过程报错：http.client.RemoteDisconnected: Remote end closed connection without response
dldfigo的博客
09-28 3万+
爬虫过程报错：http.client.RemoteDisconnected: Remote end closed connection without response 因为服务器根据 UA 来判断拒绝了 python 爬虫。
python爬虫 请求网站时报错：http.client.RemoteDisconnected
qq_41595507的博客
10-11 2760
请求网站时报错：http.client.RemoteDisconnected: Remote end closed connection without response 原因：服务器限制了部分User-Agent的访问 解决方案: 添加User-Agent 原代码： data = urllib.request.urlopen(url).read().decode("utf-8", "ignore...
remote: HTTP Basic: Access denied. The provided password or token is incorrect or your account 解决方案
热门推荐
weixin_43178406的博客
09-26 9万+
本文主要介绍了remote: HTTP Basic: Access denied. The provided password or token is incorrect or your account has 2FA enabled and you must use a personal access token instead of password解决方案，希望能对使用git clone的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Python 爬虫报错分析
m0_58367408的博客
10-07 5438
python 爬虫报错分析
【错误记录/python】requests库get请求:Remote end closed connection without response
o0o
06-22 2万+
场景 在使用requests进行get请求时，由于请求比较频繁，导致报错 import requests while True: # do something requests.get(url) requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',)) 服务器重启后可以正常返回，但是运行
apppium raise RemoteDisconnected(“Remote end closed connection without“)
weixin_42932253的博客
11-22 1380
apppium raise RemoteDisconnected(“Remote end closed connection without“) appium端口占用
RemoteDisconnected: Remote end closed connection without response 解决seaborn.load_dataset()调取数据失败
六月天、泡沫
11-22 1904
RemoteDisconnected: Remote end closed connection without response
爬虫过程报错：http.client.RemoteDisconnected: Remote end closed connection without response
薛定谔的科
03-07 2万+
import urllib from urllib import request page = 1 url = 'http://www.qiushibaike.com/hot/page/'+str(page) #url = 'http://www.baidu.com' try: req = request.Request(url) response = request.urlopen(req...
RemoteDisconnected: Remote end closed connection without response
weixin_30293135的博客
01-24 2225
爬智联招聘数据时候报错：“RemoteDisconnected: Remote end closed connection without response” 利用 urllib 发起的请求，UA 默认是 Python-urllib/3.5 而在 chrome 中访问 UA 则是 User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_...
http.client.RemoteDisconnected: Remote end closed connection without response
最新发布
01-10
http.client.RemoteDisconnected: Remote end closed connection without response 是一个常见的网络连接错误，它表示远程服务器关闭了连接而没有返回任何响应。这个错误通常发生在以下几种情况下： 1. 连接超时：如果连接超时时间过长，服务器可能会主动关闭连接。可以尝试增加连接超时时间来解决这个问题。 2. 服务器负载过高：如果服务器负载过高，可能会导致服务器关闭连接以减轻负载。可以尝试在非高峰时段进行请求，或者联系服务器管理员解决负载问题。 3. 防火墙或代理问题：防火墙或代理服务器可能会中断连接，导致远程服务器关闭连接。可以尝试禁用防火墙或代理，或者联系网络管理员解决问题。 4. 请求错误：如果请求的URL或参数有误，服务器可能会关闭连接。可以检查请求的URL和参数是否正确。 以下是一个示例代码，演示如何处理 http.client.RemoteDisconnected 错误： ```python import http.client try: conn = http.client.HTTPSConnection("www.example.com") conn.request("GET", "/") response = conn.getresponse() print(response.status, response.reason) data = response.read() # 处理响应数据 conn.close() except http.client.RemoteDisconnected as e: print("连接被远程关闭:", e) except Exception as e: print("发生其他错误:", e) ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值