Jsoup引发的异常java异常

最新推荐文章于 2022-06-06 14:00:07 发布
最新推荐文章于 2022-06-06 14:00:07 发布
阅读量705 收藏
点赞数
分类专栏： Web开发 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzq1992126/article/details/78429105
版权

今天在使用Jsoup的时候发现了一个由Jsoup引发的异常具体提示如下：

IllegalArgumentException Request must be executed (with .execute(), .get(), or .post() before getting response body

这个异常其实是由于Jsoup无法连接URL引发的，但是由于我自己使用了response流做了页面的CSV输出，导致没有准确的排查出问题，怀疑方向转向了response流的方向。

其实这个异常很简单，就是由于Jsoup请求的URL无法访问，导致接收response时没有接收到结果。将Jsoup的请求URL由不能访问的域名改为ip+端口号 直接访问tomcat即可

独恋幽兰
关注
专栏目录
java个人整理知识点
kelvin
12-15 615
发展： 1.SE 标准版。 2.EE 企业版，基于SE。 3.ME 已经淘汰。 JDK、JRE和JVM： JDK： 称为Java开发工具包（ Java Development Kit）。Java开发人士需要下载和安装JDK，目前的主流版本为JDK11。 JRE： 称之为Java SE运行时环境（Java SE Runtime Environment），提供了运行Java应用程序所必须的软件环境等。无论是.
java web网站常用抓取其他网站内容
07-14
Java原生没有提供强大的HTML解析器，但有第三方库如Jsoup，它提供了简洁的API，使得解析HTML如同操作DOM树一样简单。 3. **异步抓取**：对于大量页面的抓取，同步抓取可能会导致性能瓶颈。Java Web应用可以通过实现...
Jsoup出错
m0_52872358的博客
04-25 305
使用Jsoup过程中遇到的问题和改正 第一次使用Jsoup时，可以学习Jsoup的官方文档https://www.open-open.com/jsoup/，写出如下代码 // 初次使用时，如下 String response = Jsoup.connect(url).method(Connection.Method.POST) .header("Content-Type","application/json") .requestBody(JSON.toJSONString(requestBody))
Jsoup UncheckedIOException
Maricle_Again的博客
07-14 447
前段时候用jsoup 1.11.1解析爬虫网站时，发现执行过程中会抛出UncheckedIOException，即使用try catch中用Exception也捕获失败。看了下jsoup的源码，这玩样直接继承了ERROR，好家伙，这谁顶得住 package org.jsoup; import java.io.IOException; public class UncheckedIOException extends Error { public UncheckedIOException(I.
Java中的HTTP操作的封装(破防盗链)
anlystar
06-20 599
经常会遇到读取网页的内容，XML，图片等，于是稍花时间封装了下在Java中使用http请求处理的各种操作，实现的功能如下： 添加用户代理 设置超时时间 设置最大长度 控制是否跟踪重定向(默认是) 破解防盗链 自由控制Http响应异常的处理 添加请求参数、标头(header)信息、cookie信息 自动解析页面编码格式，也可指定 获取页面文本信息 将连接所指向的内容保存到本...
java使用Jsoup连接网站超时的解决方法 链接的时候设定超时时间即可。 doc = Jsoup.connect(url).timeout(5000).get();
热门推荐
tfy1332的专栏
03-20 1万+
java使用Jsoup连接网站超时的解决方法 jsoup是一个非常好的解析网页的包，用java开发的，提供了类似DOM，CSS选择器的方式来查找和提取文档中的内容,提取文档内容时会出现超时的情况，解决方法可看下文   今天做了一个Jsoup解析网站的项目，使用Jsoup.connect(url).get()连接某网站时偶尔会出现 java.net.Socke
java网络爬虫
09-05
9. **法律法规与道德规范**：在进行网络爬虫开发时，务必遵守相关法律法规，尊重网站的Robots协议，不进行大规模无授权的数据抓取，以免引发法律纠纷。 10. **持续学习与优化**：网络爬虫是一个不断迭代和优化的...
爬虫 登陆 知乎 android java
02-07
Java有许多解析库，如Jsoup，它可以方便地解析HTML并提取所需数据。对于JSON数据，可以使用Gson或Jackson库进行解析。 7. **知乎API**：知乎提供了一些官方的API，但它们通常有访问限制，且登录后的某些功能可能...
爬虫通过增值税发票验真平台实现发票验真
02-23
在IT行业中，发票验真是...总之，通过Java爬虫技术与增值税发票验真平台的结合，我们可以高效地完成大批量发票的验真工作，但这需要对网络请求、网页解析和异常处理有扎实的理解，同时也需要注重合规性和程序的稳定性。
建立https链接的SLL验证证书失效问题
Inner Peace
10-14 7947
爬取网页遇到的目标站点证书不合法问题。 使用jsoup爬取解析网页时，出现了如下的异常情况。 javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBu
使用jsoup/HTTPConnection 访问页面失败 ，但在浏览器中可以打开页面
shaochong047的博客
03-21 8937
             我在做一个爬虫项目的时候遇到过这种情况，本身可以正确访问的某个网页，用HPPTConnention后台访问确报错。         错误很明确，404，                     发现问题：          经过研究我发现，其实用浏览器访问该页面的时候也是404，只不过资源都可以正产加载，所以页面可以正常显示。           解决方法：       ...
request调用 get方法报错以及解决
zhangb98的博客
06-06 3075
request调用 get方法报错以及解决
解决Jsoup 访问 https协议网站时产生connect reset错误
ningzhao的专栏
07-28 6382
一、问题现象 1.通过jsoup访问https://www.xncx.gov.cn/Item/13754.aspx 时报connect reset错误（jsoup 已经设置了忽略证书，信任所有主机） 2.通过chrome浏览器,fiddler访问目标URL正常。 二、问题分析 Connection Reset——其中一端主动断开连接 Connection Reset是在建立TCP连接之后，其中一方的TCP标志位使用了Reset标志主动重置了连接 客户端Or服务器端 而我这里既...
JSOUP 超时分析与处理
07-06 489
JSOUP 超时分析与处理 下面说说超时的发现，有可能出现超时的原因，以及超时处理。 1.请求头信息得一致 当你捕获到一个采用JSOUP 去请求超时的链接，我是通过catch 去发现。 try{ doc = Jsoup.connect(url) .header("User-Agent", "Mozilla/5.0 (Wind...
Java爬虫之学习篇 爬虫的踩坑日志
qq_42082278的博客
06-20 780
常见的jsoup的问题 一、json数据的封装导致的问题 错误的json数据：{“status”:1,“message”:“成功”,“data”:"[{“Id”:“b64378b5-5d96-4be5-aa25-de702b369095”,“Concern”:0}]",“recordCount”:2587,“pageSize”:10,“pageCount”:259} 正确的json数据：{“sta...
统一异常处理介绍及实战
Java知音
07-14 1801
点击上方“Java知音”，选择“置顶公众号”技术文章第一时间送达！作者：sprinkle_lizwww.jianshu.com/p/3f3d9e8d1efa推荐阅读(点击...
jsoup获取响应内容不完整
樊金良的博客
04-23 2174
完美解决jsoup获取响应内容不完整 Jsoup抓取网页只能抓取一部分不能完整获取响应内容时，一般有以下几个原因。 网络异常，这个很少发生，jsoup会报告exception 网络超时，可以设置 connection.timeout(n) 增加超时时间。 看起来都正常，没有异常发生。 但是获取的数据就是少了一截。 如果获取到的数据不超过1024k，程序正常，得到的数据也正常。 一旦数据超过1024k时，数据就只有预期得到数据的前1024k字节了。 仔细查找jsoup的api 发现，默认设置下，jsoup最
java异常NoClassDefFoundError:org/jsoup/jsoup
最新发布
05-03
这个异常通常出现在你的代码中使用了某个依赖库，但是这个依赖库没有被正确地加载进来。在你的情况下，看起来你在使用 Jsoup 库，但是这个库没有被正确地加载。 解决这个问题你可以尝试以下步骤： 1. 确认你的项目...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值