Jsoup引发的异常java异常

最新推荐文章于 2022-06-06 14:00:07 发布
最新推荐文章于 2022-06-06 14:00:07 发布
阅读量705 收藏
点赞数
分类专栏： Web开发 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzq1992126/article/details/78429105
版权

今天在使用Jsoup的时候发现了一个由Jsoup引发的异常具体提示如下：

IllegalArgumentException Request must be executed (with .execute(), .get(), or .post() before getting response body

这个异常其实是由于Jsoup无法连接URL引发的，但是由于我自己使用了response流做了页面的CSV输出，导致没有准确的排查出问题，怀疑方向转向了response流的方向。

其实这个异常很简单，就是由于Jsoup请求的URL无法访问，导致接收response时没有接收到结果。将Jsoup的请求URL由不能访问的域名改为ip+端口号 直接访问tomcat即可

独恋幽兰
关注
专栏目录
java个人整理知识点
kelvin
12-15 617
发展： 1.SE 标准版。 2.EE 企业版，基于SE。 3.ME 已经淘汰。 JDK、JRE和JVM： JDK： 称为Java开发工具包（ Java Development Kit）。Java开发人士需要下载和安装JDK，目前的主流版本为JDK11。 JRE： 称之为Java SE运行时环境（Java SE Runtime Environment），提供了运行Java应用程序所必须的软件环境等。无论是.
java web网站常用抓取其他网站内容
07-14
Java原生没有提供强大的HTML解析器，但有第三方库如Jsoup，它提供了简洁的API，使得解析HTML如同操作DOM树一样简单。 3. **异步抓取**：对于大量页面的抓取，同步抓取可能会导致性能瓶颈。Java Web应用可以通过实现...
Jsoup出错
m0_52872358的博客
04-25 305
使用Jsoup过程中遇到的问题和改正 第一次使用Jsoup时，可以学习Jsoup的官方文档https://www.open-open.com/jsoup/，写出如下代码 // 初次使用时，如下 String response = Jsoup.connect(url).method(Connection.Method.POST) .header("Content-Type","application/json") .requestBody(JSON.toJSONString(requestBody))
Java中的HTTP操作的封装(破防盗链)
anlystar
06-20 599
经常会遇到读取网页的内容，XML，图片等，于是稍花时间封装了下在Java中使用http请求处理的各种操作，实现的功能如下： 添加用户代理 设置超时时间 设置最大长度 控制是否跟踪重定向(默认是) 破解防盗链 自由控制Http响应异常的处理 添加请求参数、标头(header)信息、cookie信息 自动解析页面编码格式，也可指定 获取页面文本信息 将连接所指向的内容保存到本...
建立https链接的SLL验证证书失效问题
Inner Peace
10-14 7957
爬取网页遇到的目标站点证书不合法问题。 使用jsoup爬取解析网页时，出现了如下的异常情况。 javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBu
request调用 get方法报错以及解决
zhangb98的博客
06-06 3076
request调用 get方法报错以及解决
JSOUP 超时分析与处理
07-06 489
JSOUP 超时分析与处理 下面说说超时的发现，有可能出现超时的原因，以及超时处理。 1.请求头信息得一致 当你捕获到一个采用JSOUP 去请求超时的链接，我是通过catch 去发现。 try{ doc = Jsoup.connect(url) .header("User-Agent", "Mozilla/5.0 (Wind...
java网络爬虫
09-05
9. **法律法规与道德规范**：在进行网络爬虫开发时，务必遵守相关法律法规，尊重网站的Robots协议，不进行大规模无授权的数据抓取，以免引发法律纠纷。 10. **持续学习与优化**：网络爬虫是一个不断迭代和优化的...
爬虫 登陆 知乎 android java
02-07
Java有许多解析库，如Jsoup，它可以方便地解析HTML并提取所需数据。对于JSON数据，可以使用Gson或Jackson库进行解析。 7. **知乎API**：知乎提供了一些官方的API，但它们通常有访问限制，且登录后的某些功能可能...
爬虫通过增值税发票验真平台实现发票验真
02-23
在IT行业中，发票验真是...总之，通过Java爬虫技术与增值税发票验真平台的结合，我们可以高效地完成大批量发票的验真工作，但这需要对网络请求、网页解析和异常处理有扎实的理解，同时也需要注重合规性和程序的稳定性。
Java爬虫之学习篇 爬虫的踩坑日志
qq_42082278的博客
06-20 780
常见的jsoup的问题 一、json数据的封装导致的问题 错误的json数据：{“status”:1,“message”:“成功”,“data”:"[{“Id”:“b64378b5-5d96-4be5-aa25-de702b369095”,“Concern”:0}]",“recordCount”:2587,“pageSize”:10,“pageCount”:259} 正确的json数据：{“sta...
统一异常处理介绍及实战
Java知音
07-14 1802
点击上方“Java知音”，选择“置顶公众号”技术文章第一时间送达！作者：sprinkle_lizwww.jianshu.com/p/3f3d9e8d1efa推荐阅读(点击...
jsoup获取响应内容不完整
樊金良的博客
04-23 2178
完美解决jsoup获取响应内容不完整 Jsoup抓取网页只能抓取一部分不能完整获取响应内容时，一般有以下几个原因。 网络异常，这个很少发生，jsoup会报告exception 网络超时，可以设置 connection.timeout(n) 增加超时时间。 看起来都正常，没有异常发生。 但是获取的数据就是少了一截。 如果获取到的数据不超过1024k，程序正常，得到的数据也正常。 一旦数据超过1024k时，数据就只有预期得到数据的前1024k字节了。 仔细查找jsoup的api 发现，默认设置下，jsoup最
java中调用request报错_求助啊 在多线程中无法使用request
weixin_34081203的博客
02-27 766
该楼层疑似违规已被系统折叠隐藏此楼查看此楼这是报错信息Exception in thread "Thread-44" java.lang.IllegalStateException: No thread-bound request found: Are you referring to request attributes outside of an actual web request, or...
关于判断jsoup中元素是否能获取到的问题
天下布武之信长的专栏
01-15 2403
在很多情况下，解析的页面的格式不是固定的，用JSOUP在解析的时候就会出现空指针异常等情况，导致不能用IF语句判断，这是因为获取到的信息是String类型的，只需要将获取的对象转换为Element类型就可以用IF语句判断了。
Java编程03--XML文件
qq_34536604的博客
05-05 385
概念 Extensible Markup Language 可扩展标记语言 可扩展：标签都是自定义的。 <user> <student> 功能 存储数据 配置文件 在网络中传输 xml与html的区别 xml标签都是自定义的，html标签是预定义。 xml的语法严格，html语法松散 xml是存...
解决：java.lang.IllegalArgumentException: String must not be empty
JavaPub
01-13 9444
java.lang.IllegalArgumentException: String must not be empty 遇到这个问题，查一下是Jsoup的问题，把你的html字符串重新用jsoup.parse()解析一下 参考：stack overflow
处理Jsoup连接超时问题
说文科技，做有态度的研究。
07-17 2654
处理Jsoup连接超时问题 1.问题 在使用jsoup进行爬虫时，发现有时候会因为网络的原因而中断了程序的执行。【正如《计算机网络》中所说的那样，因为网络层是不可靠的，必须由应用层的程序保持可靠性。所以在程序里就必须要考虑到连接不上服务器的情况！】 2.解决方法 这种问题的解决方法无异于以下几种： 使用超时属性，将超时时间扩大成60s等【例如在Jsoup中，其超时时间默认是30s】修改的代码如下...
Java 之jsoup 三种解析
wahaha
09-14 2315
Jsoup.parse ( ) Dom选择器 css选择器 xpath选择器 1.操作xml文档 1. 解析(读取)：将文档中的数据读取到内存中 2. 写入：将内存中的数据保存到xml文档中。持久化的存储 2..解析xml的方式： 1. DOM：将标记语言文档一次性加载...
java异常NoClassDefFoundError:org/jsoup/jsoup
最新发布
05-03
这个异常通常出现在你的代码中使用了某个依赖库，但是这个依赖库没有被正确地加载进来。在你的情况下，看起来你在使用 Jsoup 库，但是这个库没有被正确地加载。 解决这个问题你可以尝试以下步骤： 1. 确认你的项目...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值