Hadoop的简单了解以及安装

大数据概论

大数据概念

大数据（Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据特点

1、Vohume(大量)
截至目前，人类生产的所有印刷材料的数据量是20PB，而历史上全人类总共说过的话的数据量大约是SEB。当面。曲型个人计算机硬盘的客量为TB量及，而—世天企亚的数据量已经接近E卫量及。
2、vebcity(高速)
这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2025年，全球数据便用星将达到163ZB。在如此海量的数据面前，处理数据的效本就是企业的生命。
3、Variety (多样)
这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。
4、Value(低价值密度)
价值密度的高低与数据总量的大小成反比。

hadoop生态圈

hadoop是什么

  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

hadoop的优势

1）高可靠性:Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2）高扩展性:在集群间分配任务数据，可方便的扩展数以千计的节点。
3）高效性:在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4）高容错性:能够自动将失败的任务重新分配。

Hadoop运行环境搭建

注：本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明

安装JDK

1）卸载现有JDK

rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

 在/opt目录下创建module、software文件夹

mkdir /opt/module

      mkdir /opt/software

一个用来放我们的各种安装包一个用来安装hadoop

使用filezilla将我们需要的安装包传到我们虚拟机上的software文件夹，filezilla软件的使用连接和xshell的使用一样

在Linux系统下的opt目录中查看软件包是否导入成功

ls /opt/software/

 看到如下结果：hadoop-3.1.3.tar.gz  jdk-8u212-linux-x64.tar.gz

  解压JDK到/opt/module目录下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

 配置JDK环境变量

新建/etc/profile.d/my_env.sh文件:sudo vim /etc/profile.d/my_env.sh

添加如下内容:

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

然后保存退出

：wq

ource一下/etc/profile文件，让新的环境变量PATH生效:source /etc/profile

java -version如果能看到以下结果，则代表Java安装成功。java version "1.8.0_212"

注意：重启（如果java -version可以用就不用重启）:sudo reboot

 安装Hadoop

首先将我们的hadoop安装包传到software目录下

进入到Hadoop安装包路径下

cd /opt/software/

 解压安装文件到/opt/module下面

 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

 查看是否解压成功

 ls /opt/module/

如果成功就能看到hadoop-3.1.3

 将Hadoop添加到环境变量

 获取Hadoop安装路径

pwd

然后复制

打开/etc/profile.d/my_env.sh文件

sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下内容：

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3//注意：这行的等号后面的为自己hadoop的路径

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效：source /etc/profile

测试是否安装成功：

hadoop version 如果出现hadoop版本号就说明hadoop已经安装成功了