hadoop安装笔记

1.简单介绍

1.1 hadoop官网

hadoop.apache.org
spark.apache.org

安装教程最好根据官网的来

1.2 hadoop定义

• 狭义:
  存储 HDFS
  计算 MapReduce MR
  资源以及计算作业的调度分配 YRAN
  最重要的是存储

• 广义：hadoop生态圈所有软件
  hive sqoop HBASE kafka spark flink（偏实时）等

1.3 hadoop简单分类

• 离线数仓
  多数为离线数仓

• 实时数仓

1.4 hdfs

对于hdfs来说：

• NameNode 名称节点 老大 存储文件目录树
• SecondaryNameNode 第二节点 老二 每隔一小时把老大备份
• DataNode 数据节点 小弟 存放数据

2.前期准备

• 创建用户
  useradd <username>
passwd <passward>

• 修改主机名
  hostnamectl set-hostname <hostname>

• 在用户文件夹下创建 sourcecode software app log lib data tmp shell文件夹
  mkdir sourcecode software app log lib data tmp shell

• 解压java文件以及hadoop文件到app文件夹内
  tar -xzvf hadoop-3.1.3.tar.gz -C ../app/
tar -xzvf jdk-8u212-linux-x64.tar.gz -C ../app/

• 为java以及hadoop创建软链接
  ln -s hadoop-3.1.3/ hadoop
ln -s jdk-8u212/ java
  软链接 版本切换无感知

• 配置java以及hadoop全局变量
  vim /etc/profile
export HADOOP_HOME=/home/zhangyujie/app/hadoop
export JAVA_HOME=/home/zhangyujie/app/java
export PATH=$PATH:$JAVA_HOME/bin

• tmp文件夹为临时文件夹，30天不访问会按一定规则删除文件

常用

• jps查看启动的东西
  ps -ef | grep [端口号]

• Hadoop3 默认端口为9870
  Hadoop2 默认端口为50070

• 对于HDFS来说：

• 阿里云（服务器）开22端口和9870端口

3.hadoop安装

3.1 配置文件

• 配置core-site.xml

进入文件

vim core-site.xml

添加配置信息并将原本放在/tmp下的文件移入用户的tmp文件夹下

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://zhangyujie:9000</value>
    </property>
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/home/zhangyujie/tmp</value> 	
    </property>

• 配置hdfs-site.xml文件

vim hdfs-site.xml

添加配置信息

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>zhangyujie:50090</value>
    </property>
    <property>
            <name>dfs.namenode.secondary.https-address</name>
            <value>zhangyujie:50091</value>
    </property>

• 修改内容为机器名

vim workers

3.2 设置免登陆

ssh localhost

如果提示不行输入，输入以下命令

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

3.3 格式化

hdfs namenode -format

可能会报错，不要慌
根据报错提示的错误信息去查看错在哪里并作出修改

3.4 启动服务

start-dfs.sh

• jps查看并完成官方例子
  官方例子只需根据官方教程一步一步来即可这里不作过多说明