Hadoop3.2.0 源码分析: SHELL启动脚本 DEBUG 模式

最新推荐文章于 2022-01-12 13:40:56 发布
最新推荐文章于 2022-01-12 13:40:56 发布
阅读量957 收藏 2
点赞数 1
分类专栏： Hadoop3.2.0 源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanglong_4444/article/details/89477053
版权

 

在调试代码的时候,需要用到 hadoop 的 debug 模式.

所有做了一下记录:

打开 DEBUG 模式:

export HADOOP_SHELL_SCRIPT_DEBUG=true

 

如果不好用,直接调整函数代码,把判断去掉即可 :

 

启动脚本的时候输出的日志:

 

 

查看日志文件:

 

 

 

 

 

 

 

 

 

 

 

张伯毅
关注
专栏目录
hadoop3.2启动报错：hadoop/libexec/hadoop-functions.sh: line 398: syntax error near unexpected t
W
02-24 3443
1. Hadoop3.2.0启动报错 [ec2-user@master ~]$ sh $HADOOP_HOME/sbin/start-all.sh /usr/local/src/hadoop/libexec/hadoop-functions.sh: line 398: syntax error near unexpected token `<' /usr/local/src/hadoop/libexec/hadoop-functions.sh: line 398: ` done < <(
编写shell脚本——一键启动Hadoop集群
qq_59947103的博客
09-29 3872
第一步： 1.创建一个存放脚本的目录 命令："mkdir bin" （注：如果不了解存放脚本目录的命名，就将目录名命名为"bin"，如果 自己命名为其他可能在后面第四步的时候查找不到脚本） 2.在bin目录下创建"hadoop.sh"脚本 （1）进入新创建的bin目录下"cd bin" （2）创建"hadoop.sh"脚本并编写脚本："vim hadoo...
Hadoop源代码分析（三三）
06-25
Hadoop第三三章的源代码分析
hadoop 下的debug
河流(River)的专栏
12-20 311
2011.12.20 1. hadoop 集群环境中对namenode,datanode,jobtracker,tasktracker的监控甚至是debug. 要修改hadoop-env.sh文件: export HADOOP_TASKTRACKER_OPTS=" -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun...
Hadoop 开启debug信息
半睡半醒半浮生
08-14 340
运行hadoop程序时，有时候你会使用一些System.out.println( )（不推荐使   用，尽量使用Logger）来输出一些信息来查看，调试运行信息，不过结果可能会令你失望，因为你根本就找不到你所希望的信息，但是如果通过web页面去查看job的logger，你会惊讶的发现里面竟有System.out的打印信息。这时只需exportHADOOP_ROOT_LOGGER=DEBUG,...
Hadoop启动脚本分析
weixin_33895695的博客
05-24 187
　　　　　　　　　　　　　　　　　　　　　Hadoop启动脚本分析 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。     　　　　能看到这篇博客的你估计对Hadoop已经有一个系统的了解了，最起码各种搭建方式你应该是会的，不会也没有关系，可以参考我的笔记，里面有各种搭建方式，哈哈哈~   [yinz...
hadoop debug
lg70124752的专栏
10-15 121
export HADOOP_JOBTRACKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=878 8,server=y,suspend=y" 可使用 Hadoop 脚本中的 daemonlog 命令查看和修改某个类的日志级别,比如,可通过 以下命令查看 TaskTracker 类的日志级别: bin/hadoop da...
hadoop-3.2.0.tar.gz
07-26
在解压并分析`hadoop-3.2.0`这个压缩包时，我们可以找到源代码、配置文件、文档、示例程序等多个组成部分，这对于深入理解和使用Hadoop 3.2.0至关重要。通过阅读源代码，开发者可以了解其实现原理；配置文件则帮助...
hadoop-3.2.0部署及相关工具
09-14
2. **安装Hadoop**：下载Hadoop 3.2.0的源码或二进制包，解压到指定目录，并配置环境变量，如`HADOOP_HOME`。 3. **配置Hadoop**：修改`etc/hadoop`目录下的配置文件，如`hdfs-site.xml`（HDFS配置）、`yarn-site....
Hadoop源码分析（完整版）
06-06
Hadoop源码分析是深入理解Hadoop分布式计算平台原理的起点，通过源码分析，可以更好地掌握Hadoop的工作机制、关键组件的实现方式和内部通信流程。Hadoop项目包括了多个子项目，其中最核心的是HDFS和MapReduce，这两...
hadoop2.7.3启动脚本流程
07-27
在学习hadoop启动脚本过程中记录的，有一定的参考价值，值得一看！
Hadoop debug 方法
weixin_30505485的博客
04-20 321
做hadoop开发，需要对hdfs，mapreduce组件等进行修改、测试，如果每次做修改后都打成jar包上传到服务器打log测试的话将非常麻烦和耗时的。所以如果能够通过eclipse进行远程调试将会非常方便与惬意的。 hadoop远程调试十分简单，只需要自己hack很少的代码就可以完成。步骤如下： 首先拷贝$HADOOP_HOME/bin/hadoop ...
hadoop临时开启debug
那又怎样？的博客
12-29 1157
命令行输入：export HADOOP_ROOT_LOGGER=DEBUG,console
通过查找源码来了解 Hadoop shell 命令
abc5582的博客
02-02 441
举例 hadoop fs -ls / 首先hadoop如何配置了环境变量那么在任何位置都可以使用 hadoop命令，否则需要到hadoop的bin目录下执行此命令。 看 hadoop 脚本中的代码 可以找到 fs 以上代码也就说明 当 执行 hadoop fs ** 时 回去执行 hadoop源码 org.apache.hadoop.
Hadoop3.x报错[main] DEBUG [org.apache.hadoop.util.Shell] - Failed to find winutils.exe
程序园@大Null
01-12 1076
Hadoop3.x报错[main] DEBUG [org.apache.hadoop.util.Shell] - Failed to find winutils.exe，[main] WARN org.apache.hadoop.util.Shell - ，HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems
hadoop源码分析（1-3）
warhorse668的专栏
06-07 674
hadoop源码分析（1-3）
hadoop启动脚本分析
chuanjiaoye5017的博客
05-06 84
HadoopCluster的启动可以说十分简单，最简单的一种方法就是运行$HADOOP_HOME/bin/start-all.sh，我也相信绝大多数的人都是这么启动的。但是这个脚本里面到底做了些什么呢？让我们来抽丝剥茧的看一看：注：不失一般性，我们这里以dfs的启动为例子，mapred的启动...
Hadoop源码分析（3）
qq_39210987的博客
02-21 424
1、 启动 hadoop的启动是通过其sbin目录下的脚本来启动的。与启动相关的叫脚本有以下几个：start-all.sh、start-dfs.sh、start-yarn.sh、hadoop-daemon.sh、yarn-daemon.sh。其中hadoop-daemon.sh是用来启动与hdfs相关的服务的，yarn-daemon.sh是用来启动和yarn相关的服务。start-dfs.sh是用来启动hdfs集群的，start-yarn.sh是用来启动yarn集群，start-all.sh是用来启动yar
Hadoop 启动脚本分析
谢伟的博客
10-21 308
Hadoop 启动脚本分析将Hadoop环境安装配置完成之后，通过视频学习对其启动脚本文件进行分析，记录下来，方便日后查阅。 以windows下的Hadoop启动脚本为例进行分析（ubuntu 下类似，只是略有不同），分析结果图如下： 从图中可以看到，start-all 命令对一个相同的脚本调用多次，因此，可以采用更为直接的方式启动Hadoop。 start-dfs 命令可以直接启动 n
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值