Spark启动报错java.net.ConnectException:Call From xxx to xxx:8020 to failed on connection exception:拒绝连接

最新推荐文章于 2023-03-20 16:46:20 发布
最新推荐文章于 2023-03-20 16:46:20 发布
阅读量2.7k 收藏 2
点赞数 2
分类专栏： 大数据 文章标签： Spark3启动报错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/109582310
版权
大数据 专栏收录该内容
537 篇文章 549 订阅 ¥49.90 ¥99.00
订阅专栏
本文介绍了如何处理Spark启动时遇到的`java.net.ConnectException: Call From... to... failed on connection exception: 拒绝连接`错误。主要检查并解决四个方面的问题：关闭防火墙、修正hosts文件、确认core-site.xml和hdfs-site.xml配置文件正确，以及确保spark-defaults.conf中Spark日志目录设置与hdfs-site.xml配置一致。
摘要由CSDN通过智能技术生成

Spark启动报错：java.net.ConnectException: Call From bigdata1 192.168.239.131 to bigdata1:8020 failed on connection exception: java.net.ConnectException: 拒绝连接 For more details see: http:wiki.apache.orghadoopCon

一、确保防火墙关闭

systemctl stop firewalld
systemctl status firewalld
systemctl disable firewalld

二、确保hosts文件只有集群服务器ip地址与主机名映射

vim /etc/hosts
192.168.239.131 bigdata1
192.168.239.132 bigdata2
192.168.239.133 bigdata3

了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
ERROR spark.SparkContext:Error initializing SparkContext.Call From to failed on connection exception
zhengzaifeidelushang的博客
11-11 1330
Spark集群搭建完，节点启动Spark-shell报错 报错如下： bigdata1节点启动Spark-shell报错： ERROR repl.Main: Failed to initialize Spark session.java.net.ConnectException: Call From bigdata1/192.168.239.131 to bigdata1:8020 failed on connection exception: java.net.ConnectException: 拒绝连接
hadoop 执行命令错误Call From XXX failed on connection exception: ConnectException: Connection refused
jack_jay_du的博客
09-03 3586
错误：hadoop 启动之后，运行任何命令都会出现错误：Call From XXX to XXX failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused ...
Spark中 java.net.ConnectException: 拒绝连接问题
haibei153的博客
08-12 2万+
在使用Spark的过程中报错java.net.ConnectException: 拒绝连接 在逐步排查后最终锁定为JDK配置的问题，可能自己在之前动过JDK相关的配置，导致在使用Spark中不能生效出现报错 总结问题原因：在修改完/etc/profile.d/my_env.sh中环境变量后没有进行source /etc/profile,直接向服务器进行分发，导致出错。 解决办法：1.在完成系统环境变量的修改后，进行source /etc/profile，（注意此过程为root操作，如果不想使用roo.
忽然遇到报错：ERROR spark.SparkContext: Error initializing SparkContext.
热门推荐
matiji66
05-06 2万+
java.lang.IllegalArgumentException: System memory 100663296 must be at least 4.718592E8. Please use a larger heap size. 在Eclipse里开发Spark项目，尝试直接在spark里运行程序的时候，遇到下面这个报错： 很明显，这是JVM申请的memory不够
spark Shell启动的时候报错：ERROR spark.SparkContext: Error initializing SparkContext.ConnectException
技术探求
07-18 5463
spark Shell启动的时候报错：ERROR spark.SparkContext: Error initializing SparkContext.ConnectException: Call From hadoop202/192.168.1.202 to hadoop202:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: spark连接HDFS拒绝连接，其实是犯了一
ERROR spark.SparkContext: Error initializing SparkContext org.apache.hadoop.security.AccessControlEx
大块白云的博客
08-06 499
问题截图： 发现是普通用户xy对 /user节点没有写权限，于是使用chmod命令给该节点添加权限。
Hadoop报错java.net.ConnectException: Call From xxx to localhost:8020 failed on connection exception
给我一点温度
08-16 7662
运行Spark时报错，java.net.ConnectException: Call From xxx to localhost:8020 failed on connection exception, caused by:java.net.ConnectException:拒绝连接 提示可以去Hadoop官网上找答案，网址如下：https://cwiki.apache.org/conflue...
spark读取HDFS文件java.net.ConnectException: Connection refused异常解决方法
每天进步一点点2017
05-19 1万+
问题：java.net.ConnectException: Call From Master/xxx.xxx.x.xxx to user:8020 failed on connection exception: java.net.ConnectException: Connection refusedscala> disfile.collect().foreach(println) java...
Apache Griffin调试各种报错总结
weixin_43160819的博客
06-28 2358
1、数据库报错 Table ‘quartz.DATACONNECTOR’ doesn’t exist 2021-01-18 14:54:54.135 ERROR 122541 --- [http-nio-8081-exec-8] o.a.c.c.C.[.[.[.[dispatcherServlet] [175] : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Re
spark操作hbase的问题汇总
12-03 697
1.无法访问hbase的regionservice 自己就在虚拟机里搭建了Hadoop和HBase，在进行API操作连接时，出现以下错误： Exception in thread "main" org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: Fri N...
ERROR SparkContext: Error initializing SparkContext.
weixin_44704605的博客
04-21 757
解决方式1： val conf = new SparkConf() conf.set("spark.testing.memory","2147480000") 解决方式2： IDE进行 参数设置： -Xmx1024m
spark报错：ERROR SparkContext: Error initializing SparkContext.
Big_data_implicit_
11-28 3392
今天刚好spark history server 配好，就出现了这个错误：ERROR SparkContext: Error initializing SparkContext. 最后一再仔细看，才发现是spark conf下的spark-defaults.conf文件中的错误，把hdfs搞错了，正确的应该是： spark.eventLog.dir hdfs://linux01.pub:9000/spark-logs ...
spark.SparkContext: Error initializing SparkContext.
DraGon_HooRay的博客
06-30 1804
spark.SparkContext: Error initializing SparkContext. 报错： (base) [bigdata@worker01 ~]$ spark2-shell Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 20/06/30 15:40:49 ERROR sp
ERROR SparkContext: Error initializing SparkContext. （）
yujinlong2002的博客
03-20 2175
在配置yarn的配置文件中设置的内存过小，不能够支持spark程序的运行所以出现了报错。在将spark程序提交到yarn中运行的时出现以下报错。
ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memo
qq_42103298的博客
03-01 859
做推荐系统实战的时候，执行FeatureEngineering（scala）文件出现以下错误： ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200 解决办法： 1.点击Edit Configurations 2.如果你的设置界面有下面红框，直接粘贴以下这串文字 -Xms128m -
Win安装Spark问题：ERROR SparkContext: Error initializing SparkContext
Circle-C的博客
11-28 5962
问题背景: Java版本：1.8.0.291 Spark版本：spark-3.2.0-bin-hadoop3.2 Windows操作系统64位 Spark初次安装 问题描述： 配置完Java环境和Spark路径之后，在cmd中执行Spark-shell时，出现如下错误 Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN".
java.net.ConnectException: Call From hadoop1/172.16.8.165 to hadoop2:8032 failed on connection exception: java.net.ConnectException: 拒绝连接
最新发布
12-03
java.net.ConnectException是Java中的一个异常，通常在网络连接失败时抛出。在这个特定的错误信息中，hadoop1/172.16.8.165尝试连接到hadoop2:8032时出现了连接异常，导致连接被拒绝。这可能是由于以下原因之一导致的： 1. hadoop2:8032未启动或已关闭。 2. hadoop1/172.16.8.165无法访问hadoop2:8032，可能是由于网络故障或防火墙设置等原因。 3. hadoop2:8032正在运行，但由于某种原因无法处理hadoop1/172.16.8.165的请求。 为了解决这个问题，你可以尝试以下几个步骤： 1. 确保hadoop2:8032已经启动并正在运行。 2. 检查hadoop1/172.16.8.165是否可以访问hadoop2:8032。你可以尝试使用ping命令测试网络连接。 3. 检查防火墙设置，确保hadoop1/172.16.8.165可以访问hadoop2:8032。 4. 如果以上步骤都没有解决问题，你可以尝试重新启动hadoop2:8032并查看是否有任何错误消息。 ```java try { // 尝试连接hadoop2:8032 // your code here } catch (ConnectException e) { // 处理连接异常 // your code here } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值