hadoop配置纪要

最新推荐文章于 2024-08-19 09:01:31 发布

小爽昵称已被占用

最新推荐文章于 2024-08-19 09:01:31 发布

阅读量115

点赞数

分类专栏： hadoop 文章标签： hadoop 安装

本文链接：https://blog.csdn.net/smallbaby_dns/article/details/84217112

版权

hadoop 专栏收录该内容

3 篇文章 0 订阅

订阅专栏


1.回收站设置，以防勿操作

conf/core-site.xml

<property>
        <name>fs.trash.interval</name>
        <value>1440</value>
</property>



默认是0.单位分钟。这里我设置的是1天（60*24）
删除数据rm后，会将数据move到当前文件夹下的.Trash目录

2. hdfs.site.xml

<property>
        <name>dfs.hosts</name>
        <value>/usr/local/hadoop-0.20.2/conf/include</value>
        <final>true</final>
</property>

<property>
        <name>dfs.hosts.exclude</name>
        <value>/usr/local/hadoop-0.20.2/conf/exclude</value>
        <final>true</final>
</property>

配置许可/拒绝DataNode列表。

dfs.hosts  许可

dfs.hosts.exclude 拒绝



3.处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%
修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000

4. Namenode in safe mode
执行：bin/hadoop dfsadmin -safemode leave

5.java.net.NoRouteToHostException: No route to host
解决方法：
sudo /etc/init.d/iptables stop