Hadoop2.7.7 API: hadoop-env.sh 解析

name	description	default value
export JAVA_HOME=/home/hadoop/software/jdk1.8.0_171	设置 JAVA HOME
export HADOOP_HOME_WARN_SUPPRESS=1	压制警告	1
export HADOOP_HOME=${HADOOP_HOME:-/usr/hdp/2.6.5.0-292/hadoop}	设置HADOOP_HOME目录
export JSVC_HOME=/usr/lib/bigtop-utils	供secure HDP 2.0 datanode 使用
export HADOOP_HEAPSIZE="1024"	设置堆内存,默认单位 MB	1000
export HADOOP_NAMENODE_INIT_HEAPSIZE="-Xms1024m"	HADOOP NAMENODE 堆内存设置
export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true ${HADOOP_OPTS}"	配置可选参数: -Djava.net.preferIPv4Stack=true 在ipv4的机器上想获取到完整的机器名	使用了Java网络编程，涉及到ipv4和ipv6的问题，在hadoop集群中由于机器配置不一， 会导致不同机器获取的机器名长短不一，从而引发一系列问题， 如“hadoop或yarn集群任务数据本地化很差。
USER="$(whoami)"	获取当前操作用户
HADOOP_JOBTRACKER_OPTS="  ${HADOOP_JOBTRACKER_OPTS}"	HADOOP JOBTRACKER 可选配置参数
-server	设置 JDK 为 server 模式
-XX:ParallelGCThreads=8	设置 GC 线程数量 8
-XX:+UseConcMarkSweepGC	设置垃圾回收器为 CMS
-XX:ErrorFile=/data/var/log/hadoop/$USER/hs_err_pid%p.log	设置错误日志目录
-XX:NewSize=200m	新生代大小
-XX:MaxNewSize=200m	最大新生代大小
-Xloggc:/data/var/log/hadoop/$USER/gc.log-`date +'%Y%m%d%H%M'`	GC 日志
-verbose:gc	用于垃圾收集时的信息打印
-XX:+PrintGCDetails B18	输出 gc 日志信息
-XX:+PrintGCTimeStamps	输出 GC 时间戳
-XX:+PrintGCDateStamps	输出 GC 日期时间戳
-Xmx1024m	设置堆内存
-Dhadoop.security.logger=INFO,DRFAS	设置 hadoop security 日志级别
-Dmapred.audit.logger=INFO,MRAUDIT	设置 hadoop audit 日志级别
-Dhadoop.mapreduce.jobsummary.logger=INFO,JSA	设置 hadoop papreduce 日志级别
HADOOP_TASKTRACKER_OPTS ="  ${HADOOP_TASKTRACKER_OPTS}""	设置TASKTRACKER 参数
-server	设置 JDK 为 server 模式
-Xmx1024m	设置堆内存
-Dhadoop.security.logger=ERROR,console	设置 hadoop security 日志级别
-Dmapred.audit.logger=ERROR,console	设置 hadoop audit 日志级别
SHARED_HADOOP_NAMENODE_OPTS	设置HADOOP NAMENODE共享参数供 NAMENODE和SECONDARYNAMENODE使用
-server	设置 JDK 为 server 模式
-XX:ParallelGCThreads=8	设置 GC 线程数量 8
-XX:+UseConcMarkSweepGC	设置垃圾回收器为 CMS
-XX:ErrorFile=/data/var/log/hadoop/$USER/hs_err_pid%p.log '	设置错误日志目录
-XX:NewSize=128m	新生代大小
-XX:MaxNewSize=128m	最大新生代大小
-Xloggc:/data/var/log/hadoop/$USER/gc.log-`date +'%Y%m%d%H%M'`	GC 日志
-verbose:gc -XX:+PrintGCDetails	用于垃圾收集时的信息打印
-XX:+PrintGCTimeStamps	输出 GC 时间戳
-XX:+PrintGCDateStamps	输出 GC 日期时间戳
-XX:CMSInitiatingOccupancyFraction=70	使用cms作为垃圾回收 使用70％后开始CMS收集
-XX:+UseCMSInitiatingOccupancyOnly	使用手动定义初始化定义开始CMS收集
-Xms1024m	设置初始堆内存
-Xmx1024m	设置最大堆内存
-Dhadoop.security.logger=INFO,DRFAS	设置 hadoop security 日志级别
-Dhdfs.audit.logger=INFO	设置 hadoop audit 日志级别
export HADOOP_NAMENODE_OPTS= "${SHARED_HADOOP_NAMENODE_OPTS} ${HADOOP_NAMENODE_OPTS}"	设置 NAMENODE 参数
-XX:OnOutOfMemoryError=\"/usr/hdp/current/hadoop-hdfs-namenode/bin/kill-name-node\"	设置内存溢出错误处理方式,杀死 name-node
-Dorg.mortbay.jetty.Request.maxFormContentSize=-1	Jetty设置请求表单最大值  -1 : 无限制
export HADOOP_DATANODE_OPTS=" ${HADOOP_DATANODE_OPTS} "	设置 HADOOP DATANODE 参数
-server	设置 JDK 为 server 模式
-XX:ParallelGCThreads=4	设置 GC 线程数量 8
-XX:+UseConcMarkSweepGC	设置垃圾回收器为 CMS
-XX:ErrorFile=/data/var/log/hadoop/$USER/hs_err_pid%p.log	设置错误日志目录
-XX:NewSize=200m	新生代大小
-XX:MaxNewSize=200m	最大新生代大小
-Xloggc:/data/var/log/hadoop/$USER/gc.log-`date +'%Y%m%d%H%M'`	GC 日志
-verbose:gc  -XX:+PrintGCDetails	用于垃圾收集时的信息打印
-XX:+PrintGCTimeStamps	输出 GC 时间戳
-XX:+PrintGCDateStamps	输出 GC 日期时间戳
-Xms1024m -Xmx1024m	设置堆内存大小
-XX:CMSInitiatingOccupancyFraction=70	使用cms作为垃圾回收 使用70％后开始CMS收集
-XX:+UseCMSInitiatingOccupancyOnly	使用手动定义初始化定义开始CMS收集
-Dhadoop.security.logger=INFO,DRFAS	设置 hadoop security 日志级别
-Dhdfs.audit.logger=INFO	设置 hadoop audit 日志级别
export HADOOP_SECONDARYNAMENODE_OPTS= "${SHARED_HADOOP_NAMENODE_OPTS} ${HADOOP_SECONDARYNAMENODE_OPTS}"	设置SECONDARYNAMENODE参数
-XX:OnOutOfMemoryError= \"/usr/hdp/current/hadoop-hdfs-secondarynamenode/bin/kill-secondary-name-node\"	secondarynamenode内存溢出操作
export HADOOP_CLIENT_OPTS="-Xmx${HADOOP_HEAPSIZE}m $HADOOP_CLIENT_OPTS"	设置 HADOOP_CLIENT 参数	fs, dfs, fsck, distcp etc 命令涉及
HADOOP_NFS3_OPTS="-Xmx1024m -Dhadoop.security.logger=ERROR,DRFAS ${HADOOP_NFS3_OPTS}"	设置 HADOOP NFS3
HADOOP_BALANCER_OPTS="-server -Xmx1024m ${HADOOP_BALANCER_OPTS}"	设置 HADOOP BALANCER
export HADOOP_SECURE_DN_USER=${HADOOP_SECURE_DN_USER:-""}	设置 DATENODE 删除权限用户
export HADOOP_SSH_OPTS="-o ConnectTimeout=5 -o SendEnv=HADOOP_CONF_DIR"	SSH 参数,默认空
export HADOOP_LOG_DIR=/data/var/log/hadoop/$USER	log 文件存储目录	$HADOOP_HOME/logs
export HADOOP_MAPRED_LOG_DIR=/data/var/log/hadoop-mapreduce/$USER	History server 日志
export HADOOP_SECURE_DN_LOG_DIR=/data/var/log/hadoop/$HADOOP_SECURE_DN_USER	HADOOP_SECURE_DN 存储目录
export HADOOP_SLAVES=${HADOOP_HOME}/conf/slaves	远程 slave hosts 文件	$HADOOP_HOME/conf/slaves by default.
export HADOOP_MASTER=master:/home/$USER/src/hadoop	设置HADOOP_MASTER	默认不设置
export HADOOP_SLAVE_SLEEP=0.1	在大型集群中，若rsync已启用， 则集群启动时所有工作节点几乎同时启动， 且同时向主节点发出rsync请求，可能导致主节点瘫痪。	默认不设置
export HADOOP_PID_DIR=/var/run/hadoop/$USER	HADOOP_PID_DIR   PID 存储目录	/tmp by default.
export HADOOP_SECURE_DN_PID_DIR=/var/run/hadoop/$HADOOP_SECURE_DN_USER	HADOOP_SECURE_DN_PID_DIR  PID存储目录	/tmp by default.
export HADOOP_MAPRED_PID_DIR=/var/run/hadoop-mapreduce/$USER	HADOOP_MAPRED_PID_DIR  PID存储目录	/tmp by default.
YARN_RESOURCEMANAGER_OPTS="-Dyarn.server.resourcemanager.appsummary.logger=INFO,RMSUMMARY"	设置RESOURCEMANAGER 参数
export HADOOP_IDENT_STRING=$USER	A string representing this instance of hadoop.	$USER by default.
export HADOOP_NICENESS=10	The scheduling priority for daemon processes. See 'man nice'.
export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}	Add libraries to the hadoop classpath some may not need a colon as they already include it
export HADOOP_LIBEXEC_DIR=/usr/hdp/2.6.5.0-292/hadoop/libexec	Setting path to hdfs command line