Hadoop2.7x 日志文件目录迁移（涉及组件：ZooKeeper、Spark、Hive、HBase、Oozie、Storm、Kafka）

1.本人使用的是ambari管理的hadoop2.7.3版本，由于/var目录空间有限，

所以对hadoop的日志存放目录做迁移处理。

 

操作：

一、更改配置文件

在这里一共要动以下几个文件（这些文件是ambari上显示的配置，如果是调整配置文件的话，请自行查找具体名称。）

1.hadoop-env.xml

 

Hadoop Log Dir Prefix    /data/var/log/hadoop

 

2.Advanced hdfs-logsearch-conf

  模板里面所有的路径需要进行替换。 

 

3.hadoop-env template   

    模板里面所有的路径需要进行替换。

4.yarn-env.xml

YARN Log Dir Prefix   /data/var/log/hadoop-yarn

 

5.Advanced yarn-logsearch-conf

里面所有的路径需要进行替换。

6.mapred-env.xml

 

Mapreduce Log Dir Prefix   /data/var/log/hadoop-mapreduce

7.mapred-env template

模板里面所有的路径需要进行替换。

8.mapred-logsearch-conf

里面所有的路径需要进行替换。

 

 

 

二、迁移操作变更脚本：

0.远程登录到各个机器:

ssh root@bj-rack001-hadoop001
ssh root@bj-rack001-hadoop002
ssh root@bj-rack001-hadoop003
ssh root@bj-rack001-hadoop004
ssh root@bj-rack001-hadoop005
ssh root@bj-rack001-hadoop006
ssh root@bj-rack001-hadoop007
ssh root@bj-rack001-hadoop008
ssh root@bj-rack001-hadoop009

 

1.创建日志文件目录

mkdir -p /data/var/log

chmod 777 /data/var/log
ls /data/var/log

2.移动文件

mv /var/log/hadoop /data/var/log/

mv /var/log/hadoop-mapreduce/ /data/var/log/

mv /var/log/hadoop-hdfs/ /data/var/log/

mv /var/log/hadoop-yarn /data/var/log/

 

3.重启服务

 

4.检查

ls -l /data/var/log

ls -l /var/log/hadoop*

 

 

 

--------------------------------------------------------------------------------

其他组件迁移

 

1. ZooKeeper 日志目录迁移

    ZooKeeper Log Dir  var/log/zookeeper

    mv /var/log/zookeeper /data/var/log/

2.spark 日志目录迁移

    livy2_log_dir : /var/log/livy2

    spark_log_dir : /var/log/spark2

    执行脚本（每台）：

        mv /var/log/livy2 /data/var/log/
        mv /var/log/spark2 /data/var/log/

        ls /var/log/spark*
        ls /data/var/log/spark*

3.hive 日志目录迁移

    Hive Log Dir ：/var/log/hive
    WebHCat Log Dir : /var/log/webhcat

    执行脚本（每台）：

        mv /var/log/hive /data/var/log/
        mv /var/log/webhcat /data/var/log/

        ls /var/log/hive*
        ls /data/var/log/hive*

4.HBase 日志目录迁移

    HBase Log Dir Prefix ：/var/log/hbase
    

    执行脚本（每台）：

        mv /var/log/hbase /data/var/log/
        

        ls /var/log/hbase*
        ls /data/var/log/hbase*

5.Oozie 日志目录迁移

    Oozie Log Dir :  /var/log/oozie

    执行脚本（每台）：

        mv /var/log/oozie /data/var/log/
        

6.Storm 日志目录迁移

    storm_log_dir :  /var/log/storm

    执行脚本（每台）：

        mv /var/log/storm /data/var/log/
        

7.Kafka 日志目录迁移

    kafka_log_dir :  /var/log/kafka

    执行脚本（每台）：

        mv /var/log/kafka /data/var/log/

     注：kafka目录的话，在/var/log/kafka目录中依旧存在，原因是建立的软连接，可以忽略