Hadoop单机和伪分布搭建

最新推荐文章于 2023-12-31 21:32:28 发布

冉小苏

最新推荐文章于 2023-12-31 21:32:28 发布

阅读量386

点赞数 1

分类专栏： hadoop 文章标签： hadoop 伪分布式单节点安装步骤运行模式 hadoop模块

本文链接：https://blog.csdn.net/zoe_ranxiaosu/article/details/84863390

版权

hadoop 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

hadoop模块

Hadoop Common：支持其他Hadoop模块的常用实用程序。
   Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。
   Hadoop YARN：作业调度和集群资源管理的框架。
   Hadoop MapReduce：基于YARN的系统，用于并行处理大型数据集。（一种计算框架）
   Hadoop Ozone： Hadoop的对象存储。（后来新增）

三种运行模式

本地（独立）模式：Hadoop配置为以非分布式模式运行，作为单个Java进程。这对调试很有用
伪分布式模式：Hadoop还可以在伪分布式模式下在单节点上运行，其中每个Hadoop守护程序在单独的Java进程中运行
在一台机器上运行hdfs文件系统，运行mr程序，从hdfs上获取数据，结果存放到hdfs上
完全分布式模式：运行在多台机器上，同时只有一个hdfs系统
hadoop下载地址：https://archive.apache.org/dist/hadoop/common/

hadoop单节点安装步骤

安装linux操作系统（略）
安装java（如果存在系统自带java，请先卸载）
查询是否有其他版本java
rpm -qa | grep java
卸载其他版本java
rpm -e --nodeps javaxxxxxxxxxx
创建软连接
ln -s /home/hyxy/soft/jdk1.8.0_151 /home/hyxy/soft/jdk
配置环境变量
vim ~/.bashrc
【JAVA_HOME=/home/hyxy/soft/jdk

PATH=$PATH:$JAVA_HOME/bin

export JAVA_HOME

export PATH】

修改文件后保存退出esc+:wq

生效环境变量：source ~/.bashrc
测试
           java -version
安装hadoop
解压hadoop文件
tar -zxvf 文件名
删除安装包
rm 文件名
创建软连接
ln -s /home/hyxy/soft/hadoop-2.7.3 /home/hyxy/soft/hadoop
配置环境变量：
vim ~/.bashrc
【HADOOP_HOME=/home/hyxy/soft/hadoop
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH】
source ~/.bashrc

测试
           hadoop version
测试mr圆周率
           hadoop jar hadoop-mapreduce-examples-2.7.3.jar pi 10 100000

hadoop伪分布式

开启sudo
切换到root用户
编辑/etc/sudoers
复制一次root权限
然后更改root为自己的用户名（hyxy ALL=(ALL) ALL）
修改主机名
sudo vim /etc/sysconfig/network
hostname=master
配置静态ip：
sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
           DEVICE=eth0
           TYPE=Ethernet
           ONBOOT=yes
           BOOTPROTO=none
           IPADDR=192.168.126.104
           GATEWAY=192.168.126.2
           DNS1=192.168.126.2
           NAME="System eth0"
       简单方式（图形化界面）
           两个电脑的小图标右键选择第3个（配置信息）
           把弹出的对话框拖到左侧
           两个电脑的小图标右键选择第4个（修改网络配置）
           选择system eth0 点击edit
           选择ipv4 settings选项卡
           method调整为manual
           点击add
           填入左侧显示的对应的信息
配置ip和主机名的映射
sudo vim /etc/hosts
           192.168.126.104   master
ping master验证
修改配置文件
       core-site.xml
           <property>
               <name>fs.defaultFS</name>
               <value>hdfs://master:9000</value>
           </property>
       hdfs-site.xml
           <property>
               <name>dfs.replication</name>
               <value>1</value>
           </property>
       slaves(配置datanode节点)
           master
配置免密登录
       $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
       $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
       $ chmod 0600 ~/.ssh/authorized_keys
格式化namenode
hdfs namenode -format
如果Error: JAVA_HOME is not set and could not be found.
修改hadoop-env.sh
export JAVA_HOME=/home/hyxy/soft/jdk
启动hdfs
start-dfs.sh
单独启动namenode
hadoop-daemon.sh start namenode
单独启动SecondaryNameNode
hadoop-daemon.sh start secondarynamenode
单独启动datanode
hadoop-daemon.sh start datanode

访问网页:http://主机ip:50070
如果登录不了，检查是非关闭防火墙
sudo service iptables off
sudo chkconfig iptables off
sudo chkconfig ip6tables off

查看运行日志：vim /home/hyxy/soft/hadoop/logs/hadoop-hyxy-namenode-master.log