基于docker搭建hadoop集群

目前线上环境都是传统的虚机，所以docker在日常开发中大部分是用来在本地搭建开发用的一些中间件比如redis、kafka啥的，不得不说，docker这个东西到目前没有感觉还是挺好的，最主要的是它比vm ware轻太多了，一般如果用vm ware的话，开四五台已经是上限了，但是如果用docker，限制就会笑很多，而且，搭建好的环境还可以导出镜像，已被在其他地方使用，很方便。

目前正准备复习和总结一下Hadoop和Spark相关的知识点，所以就准备搭建一个集群，但是目前用的是mac电脑，没有双系统，也不想装虚机，就用docker搭了一个，很方便，下面记录一个搭建docker集群的过程。

主要分两步，第一步是搭建基础环境，导出镜像，第二步是利用公共镜像搭建hadoop集群，下面一步一步操作。

• 从Docker Hub拉取一个热乎的centos

>docker pull centos:7

• 启动容器

>docker run -dit --name DockerCentos centos:7 /bin/bash

• 下载jdk并赋值到docker环境中（在另一个shell中下载到本地，防止docker环境gg，还得重下）

>docker cp ~/Downloads/jdk-8u231-linux-x64.tar.gz containerId:/usr/local/app/jdk

• 按照时间同步工具，了能会用拿到

yum install -y ntpdate

• 按照ssh

yum install openssh-clients
yum install openssh-server

• 安装网络工具，不然执行不了ifconfig

yum install net-tools -y

• 修改本地DNS

注释掉127.0.0.1 localhost，不然不知道为什么hadoop命令执行会报错。

• 安装which，莫名其妙没有which命令，hadoop命令执行报错

yum insall -y which

• 配置jdk

>tart -xvf jdk-8u231-linux-x64.tar.gz
>vi /etc/profile
export JAVA_HOME=/usr/local/app/jdk/jdk1.8.0_231
export PATH=$JAVA_HOME/bin:$PATH

>source /etc/profile
>java -version
java version "1.8.0_231"
Java(TM) SE Runtime Environment (build 1.8.0_231-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.231-b11, mixed mode)

• 下载hadoop安装包&