![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 50
曾阿伦
不成修士,终为蝼蚁
展开
-
Hadoop集群破坏试验可靠性验证
模拟集群中hadoop2数据节点故障(datanode节点数量应该大于dfs.replication设置的文件块复制数,否则在删减datanode时不会成功,一直处于Decommission in process的状态)模拟hadoop集群中其中一台datanode数据节点宕机故障,验证是否影响文件系统和hbase的使用?模拟hadoop集群中其中一台datanode数据节点硬盘故障,验证是否影响文件系统和hbase的使用?(此方法有点类似第一种)集群中其中一台datanode数据节点硬盘故障。原创 2023-12-08 10:55:06 · 402 阅读 · 0 评论 -
单节点hadoop搭建
编辑文件etc/hadoop/hadoop-env.sh配置JAVA_HOME。添加配置etc/hadoop/hdfs-site.xml文件。添加配置etc/hadoop/mapred-site.xml。配置etc/hadoop/core-site.xml文件。添加配置etc/hadoop/yarn-site.xml。原创 2023-12-08 10:26:41 · 281 阅读 · 0 评论 -
MapReduce编程System.out.println的输出
其实很好找,不用加什么端口,写什么脚本那么麻烦,直接在web页面就可以看到,我觉得syso更多的是想做个定位,只需要看到一个map有就基本明了了,下面截图说明。首先到你8088这个web页面:http://pdh2:8088/cluster 点击你对应任务的。可以看到map和reduce,我的syso是在map里面的,所以此处我选择map。点击logs,然后往下翻就可以找到你的输出了。原创 2023-04-22 21:50:56 · 102 阅读 · 0 评论