大数据学习(二) 一些常用命令及配置

JDK 在Linux中的配置

在etc/profile中添加

export JAVA_HOME=/jdkTest/jdk1.8.0_261/
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

在yarn-site.xml中的一些配置：

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
</property>
<property> 日志聚集功能
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

在mapred_site.xml中的配置

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>node1:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.web.address</name>
<value>node1:19888</value>
</property>