Hadoop 2.6.0+Hbase1.12+mahout0.9 集群搭建

最新推荐文章于 2024-11-12 23:14:56 发布
最新推荐文章于 2024-11-12 23:14:56 发布
阅读量305 收藏 1
点赞数
分类专栏： 大数据 文章标签： 大数据 hadoop

建议配置1台，克隆两台，修改/etc/hostname即可

创建hadoop用户组和用户

创建用户组   

sudo addgroup hadoop

创建用户

sudo adduser -ingroup hadoophadoop

给hadoop用户添加权限，打开/etc/sudoers文件

sudo gedit /etc/sudoers

在root ALL=(ALL)ALL行下添加ALL=(ALL:ALL) ALL。如果不添加这行，hadoop将不能执行sudo操作。

 

1. 配置jdk

进入在存放jdk文件夹的当前目录，将解压好的jdk1.7.0_10文件夹用最高权限复移动到/home/hadoop/tools目录里，此时即使没有tools目录也可以执行如下命令，tools文件夹将得到创建。

 

sudo mv jdk1.7.0_45.tar.gz /home/hadoop/tools/

接下来需要设置环境变量，进入当前用户名的主文件夹，修改.profile文件。注意，该文件是当前用户的配置文件，如果要对使用计算机的所有用户生效，那么需要设置的文件应该是 /etc/profile。

 

解压

tar -zxvf  jdk1.7.0_45.tar.gz

重命名：

mv jdk1.7.0_45 jdk7

mv  apache-maven-3.2.2  maven3.2

mv  hadoop-2.6.0  hadoop2.6

mv  hbase-1.1.2   hbase1

 

配置hadoop用户环境变量

sudo gedit ~/.bashrc

在末尾加上:

 

# Hadoop

exportHADOOP_PREFIX="/home/hadoop/tools/hadoop2.6"

exportPATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

export HADOOP_COMMON_HOME=${HADOOP_PREFIX}

export HADOOP_HDFS_HOME=${HADOOP_PREFIX}

export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}

export HADOOP_YARN_HOME=${HADOOP_PREFIX}

 

#set java environment

export JAVA_HOME=/home/hadoop/tools/jdk7

export JRE_HOME=/home/hadoop/tools/jdk7/jre

 

export MAHOUT_HOME=/home/hadoop/tools/mahout-distribution-0.9

export MAVEN_HOME=/home/hadoop/tools/maven3.2

exportPATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$MAHOUT_HOME/bin:$PATH

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

export SCALA_HOME=/home/hadoop/tools/scala2.10

export PATH=.:$PATH:$SCALA_HOME/bin

 

export SPARK_HOME=/home/hadoop/tools/spark1.4

export PATH=.:$PATH:$SPARK_HOME/bin:$SPARK_HOME:sbin

 

export HBASE_HOME=/home/hadoop/tools/hbase1

exportPATH=.:$PATH:$HBASE_HOME/bin

然后保存关闭，此时在命令行输入java -version将会仍然显示java没有安装。此时，需要使用source更新下.bashrc文件：

 

source  ~/.bashrc

再次使用java -version命令可以看到如下输出：

 

到此，已经将jdk配置完成。如果之前系统里面已经安装了openjdk，可以使用如下方法将默认jdk更改过来：

3.采用桥接模式获得静态虚拟机ip

ip addr 获得该节点ip地址

在三台主机上分别设置：/etc/hosts和/etc/hostname

hosts这个文件用于定义主机名和IP地址之间的映射关系。

(修改hostname后重启虚拟机生效)

4.关闭防火墙

 sudo ufw disable (关闭防火墙重启虚拟机生效)

5.换源

 若出现ssh等软件无法安装，进行换源操作

1、首先备份Ubuntu14.04源列表

sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup （备份下当前的源列表）

2、修改更新源

sudo gedit  /etc/apt/sources.list（打开Ubuntu 14.04源列表文件）

在后面添加:

deb http://ubuntu.cn99.com/ubuntu/ precise mainrestricted universe multiverse

deb http://ubuntu.cn99.com/ubuntu/ precise-updatesmain restricted universe multiverse

deb http://ubuntu.cn99.com/ubuntu/ precise-securitymain restricted universe multiverse

deb http://ubuntu.cn99.com/ubuntu/ precise-backportsmain restricted universe multiverse

deb http://ubuntu.cn99.com/ubuntu-cn/ precise mainrestricted universe multiverse

3、sudo apt-getupdate  更新

6.安装SSH服务（建立无密码登陆本机）

安装openssh-server;

sudo apt-get install ssh

首先要转换成hadoop用户，执行以下命令：

su   hadoop

 

1.创建ssh-key，这里我们采用rsa方式;

ssh-keygen -t rsa

（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）

2.进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的;

   cd ~/.ssh

cat id_rsa.pub >> authorized_keys

3. 登录localhost（master）;

    ssh (localhost)master

 

 

( 注：当ssh远程登录到其它机器后，现在你控制的是远程的机器，需要执行退出命令才能重新控制本地主机。)

4. 执行退出命令;

exit

将生成的authorized_keys文件拷贝到两台slave主机相同的文件夹下，命令如下：

scp authorized_keys slave1:~/.ssh/

scp authorized_keys slave2:~/.ssh/

 

ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。

 

附ssh部分命令：

重启SSH  

/etc/init.d/ssh restart

确认sshserver是否启动

ps -e | grep ssh

如果只有ssh-agent那ssh-server还没有启动，需要/etc/init.d/ssh start，如果看到sshd那说明ssh-server已经启动了。

 

7.Hadoop配置

切换为hadoop用户

su hadoop

 

解压hadoop到/home/hadoop/tools/

tar -zxvf hadoop-2.6.0.tar.gz  /home/hadoop/tools/

 

将hadoop-2.6.0 改名为hadoop2.6

mv hadoop-2.6.0 hadoop2.6

 

进入etc下修改配置文件

cd /home/hadoop/tools/hadoop2.6/etc/hadoop

 

编辑hadoop-env.sh(修改JAVA_HOME的配置)

sudo gedit hadoop-env.sh

export JAVA_HOME=/home/hadoop/tools/jdk7

export HADOOP_PID_DIR=/home/hadoop/pids

编辑yarn-env.sh，在底部增加

export JAVA_HOME=/home/hadoop/tools/jdk7

export YARN_PID_DIR=/home/hadoop/pids

编辑slaves文件，在底部增加

master

slave1

slave2

 

编辑core-site.xml

<configuration>

<property>

   <name>fs.defaultFS</name>

   <value>hdfs://master:9000</value>

</property>

<property>

   <name>hadoop.tmp.dir</name>

    <value>/home/hadoop/temp</value>

</property>

</configuration>

 

编辑hdfs-site.xml

<configuration>

  <property>

<name>dfs.replication</name>

<!—该数值为slave节点数 -->

    <value>3</value>

  </property>

 

  <property>

<name>dfs.namenode.name.dir</name>

<!-- 注意创建相关的目录结构 -->

    <value>file:/home/hadoop/dfs/name</value>

   <final>true</final>

  </property>

 

  <property>

<name>dfs.datanode.data.dir</name>

<!-- 注意创建相关的目录结构 -->

   <value>file:/home/hadoop/dfs/data</value>

  </property>

</configuration>

 

编辑yarn-site.xml

<configuration> 

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

 

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

 

<property>

<name>yarn.resourcemanager.hostname</name>

<!--  resourcemanager hostname或ip地址-->

   <value>master</value>

</property>

</configuration> 

 

编辑mapred-site.xml

默认没有该文件

<configuration>

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

       <final>true</final>

</property>

</configuration>

 

 

把所有Datanode节点设置可写权限（防止启动服务的时候出错）

 sudo chown -R  hadoop:hadoop /home/hadoop/

 

启动hadoop

1.第一次启动需要在master 执行format

bin/hdfs namenode -format

2.在master启动服务

   sbin/start-all.sh

3.在master 验证启动进程：

4.在slave 验证启动进程：

5.打开浏览器输入：http:// master:8088 可查看相关的应用运行情况。

6. 打开浏览器输入：http://master:50070  可查看hdfs目录

7.测试

bin/hdfs dfs -ls /

bin/hdfs dfs -mkdir /user

bin/hdfs dfs -mkdir -p/user/micmiu/wordcount/in

 

创建三个文件（内容相同）

micmiu-01.txt：

micmiu-02.txt：

micmiu-03.txt：

Hi Michael welcome to Hadoop

more see micmiu.com

上传三个文件

bin/hdfs dfs -put micmiu*.txt/user/micmiu/wordcount/in

 

启动wordcount

bin/hadoop jar   ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jarwordcount   /user/micmiu/wordcount/in   /user/micmiu/wordcount/out

   查看结果输出out文件

bin/ hdfs dfs -cat /user/micmiu/wordcount/out/part-r-00000

8.安装HBase1.1.2

首先登陆官网：

http://apache.fayea.com/hbase/stable/

下载最新版本，这里选取的是hbase1.1.2版本，切换为hadoop用户

su hadoop

 

解压hadoop到/home/hadoop/tools/

tar -zxvf hbase-1.1.2-bin.tar.gz  /home/hadoop/tools/

 

将hbase-1.1.2 改名为hbase1

mv hbase-1.1.2  hbase1

 

进入etc下修改配置文件

cd /home/hadoop/tools/hbase1/conf

 

编辑hbase-env.sh，在底部增加

# The java implementation to use. Java 1.7+ required.

export JAVA_HOME=/home/hadoop/tools/jdk7

export HBASE_MANAGES_ZK=true

export HBASE_PID_DIR=/home/hadoop/pids

 

编辑regionservers文件，在底部增加

master

slave1

slave2的IP地址：

 

编辑hbase-site.sh，在底部增加

<configuration>

<property>

        <name>hbase.rootdir</name>

       <value>hdfs://master:9000/hbase</value>

</property>

 

<property>

       <name>hbase.cluster.distributed</name>

        <value>true</value>

</property>

 

<property>

  <name>hbase.master</name>

  <value>192.168.16.128:60010</value>

</property>

 

<property>

  <name>hbase.zookeeper.quorum</name>

  <value>192.168.16.128,192.168.16.129, 192.168.16.130</value>

</property>

 

<property>

  <name>zookeeper.znode.parent</name>

  <value>/hbase</value>

</property>

</configuration>

在浏览器中输入http://192.168.16.128:16030/rs-status，如图则配置成功：

附录：遇到的部分问题总结

1. slave节点的DataNode自动关闭问题

原因:Namenode上namespaceID与datanode上namespaceID不一致。

每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,所以造成namenode节点上的namespaceID与datanode节点上的namespaceID不一致。启动失败。

解决方案：

(1)停掉集群服务

　　(2)在出问题的datanode节点上删除data目录，data目录即是在hdfs-site.xml文件中配置的dfs.data.dir目录，本机器上那个是/var/lib/hadoop-0.20/cache/hdfs/dfs/data/

　　(3)格式化namenode.

(4)重新启动集群。

 

2. NameNode结点不能启动

 jps查看结点启动情况没有NameNode结点

一种原因是在core-site.xml中指定了如下配置：

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop/hadoop-${user.name}</value>
  </property>

但是tmp会在启动的时候清空，而dfs的数据就会变得不一致，导致启动失败，可以重新更改位置：

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/hadoop-${user.name}</value>
  </property>

然后执行: hadoop namenode -format  命令（由于namenode数据存储目录变更，namenode需要重新格式化）

重启后即可。

 

 

3. 运行wordcount时权限不足

解决方案：

在配置hdfs-site.xml中增加配置代码：

<property>

<name>dfs.permissions.enabled</name>

<value>false</value>

</property>

 

 

4. 解除安全模式

解决方案：

   hadoopdfsadmin -safemode leave

如果少年
关注
专栏目录
Mac系统下，Hadoop 2.6.2 + Mahout 0.12.1 完全分布式配置
wk51920的专栏
06-28 1061
简介         Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到云中。         以上来自
大数据学习--kafka+flume++sqoop+hadoop+zookeeper+spark+flink
ssdsadsa的博客
02-15 508
Flume对数据写入HDFS更专业并且有数据的预处理与分类实时数据写入的该控制，但是它对单个管道的数据并不友好，如果管道出现了问题那么这条链路的数据必须停下。现阶段技术上的应用主要是spark对于mapreduce 的技术升级，线程+数据放入内存+数据共享来优化数据需要在原生hadoop上多次mapreduce计算的磁盘 多次IO，根据业务逻辑的是否复杂是否需要机器学习等多方面考虑是否需要 haddop+spark联合使用。不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。
Mahout0.9安装(Hadoop2.6.0)
A thousand sugar star
02-16 2295
在2.0版本以上的hadoop上使用时, 需要重新编译mahout, https://mahout.apache.org/developers/buildingmahout.html $ git clone https://github.com/apache/mahout.git $ mvn clean package -Dhadoop2 -Dhadoop2.version=2.6.0 -
编译mahout使其支持hadoop2.6
奔向新世界
03-19 4589
Mahout0.9的版本只支持hadoop1.x版本，现在hadoop2.x比1.x更灵活、功能更强大、应用更广，支持2.x那是必然的。在mahout的主干代码上已经是支持hadoop2.2的了，下面就编译源代码用于支持hadoop2.6，因为自己搭建的环境是这个版本。 1、从github上clone一份源代码     2、修改pom.xml文件    找到hadoop.version一项
基于hadoop2.7集群的Spark2.0，Sqoop1.4.6，Mahout0.12.2完全分布式安装
weixin_34125592的博客
07-28 272
写在前边的话 hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客 基本环境： CentOS 6.5，Hadoop 2.7，Java 1.7 Hive 2.0.0，Zookeeper 3.4.8， Hbase 1.2.2 ...
搭建Hadoop 2.6.0+Hbase 1.12+mahout 0.9 集群教程
"Hadoop 2.6.0+Hbase1.12+mahout0.9 集群搭建" 在大数据处理领域，Hadoop是一个开源的分布式计算框架，而HBase是一个基于Hadoop的分布式数据库，适用于大规模数据存储。Mahout则是一个机器学习库，用于构建数据挖掘...
rhel6.5+CDH5.14+CM 2台集群安装说明
whn360的专栏
02-13 1603
声明： 本文是本人经过N次安装实验后整理编写，安装配置过程中参考了大量的网上资料，正文中也有引用，在此表示感谢！因为自己安装配置经历比较坎坷，长达2个月坚持不懈的努力（跨过元旦、春节），总算把基础环境搭建起来了。这里也记录了自己安装配置过程中遇到的所有问题与解决办法。希望后边学习的人，能在此文的帮助下，顺利的搭建好测试环境。如有错误，还请谅解指正，谢谢！ rhel6.5+CDH5.14+CM 2台...
使用Ambari搭建Hadoop集群
XiaodunLP的博客
02-07 545
Hadoop 介绍 Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计就是：MapReduce和HDFS。MapReduce提供了对数据的分布式计算，HDFS提供了海量数据的分布式存储。在Hadoop家族中，收入了20多个用于计算、分析、存储、监控、管理等组件和...
hadoop2.7.3 mahout 0.9 遇到问题
laymenISmouse的专栏
10-01 1089
hadoop2.7.3 mahout 0.9 遇到问题： 以命令行提交hadoop任务，VMware10虚拟机，ubuntu16.4，单机版hadoop2.7.3，mahout0.9，maven3.3.9 处理数据ratings.csv；
基于Hadoop2.6.0的Mahout0.12.1的配置与使用
PanPan的专栏
05-10 2463
一. Mahout的安装 1.下载 在http://mirror.bit.edu.cn/apache/mahout/0.12.1/下载地址中下载apache-mahout-distribution-0.12.1.tar.gz 2.解压 tar -C /opt/Mahout -zxvf mahout-distribution-0.12.1.tar.gz    (我将压缩包解压到了/op
18、大数据之HBase开发
小茗同学IT的博客
06-09 1060
1. hbase开发1.1. 配置HBaseConfiguration包：org.apache.hadoop.hbase.HBaseConfiguration作用：通过此类可以对HBase进行配置用法实例：Configuration config = HBaseConfiguration.create();说明： HBaseConfiguration.create() 默认会从classpath ...
hadoop2.5.2 升级 hadoop2.6.0
weixin_34178244的博客
06-03 137
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据基础（三）Ubuntu下基于Hadoop 2.6.2的Mahout 0.12.1安装和使用
星门学派（Star School）
06-04 3247
Ubuntu下基于Hadoop 2.6.2的Mahout 0.12.1安装和使用 环境： Ubuntu Server 14.04.04 amd64 Hadoop 2.6.2  参考： http://itindex.net/detail/49323-mahout-%E5%AD%A6%E4%B9%A0-mahout 新版的配置有略微改动 1、下载 http://mirror.bi
Kafka生产者如何提高吞吐量？
wadjdkdkdjjd的博客
11-09 395
②在 IDEA 中执行代码，观察 hadoop102 控制台中是否接收到消息。4、 RecordAccumulator：缓冲区大小，修改为64m。2、linger.ms：等待时间，修改为5-100ms。3、compression.type：压缩snappy。①在 bigdata01 上开启 Kafka 消费者。1、batch.size：批次大小，默认16k。
RabbitMQ 与 PHP Swoole 实现
最新发布
学习,分享一直在路上
11-12 591
RabbitMQ 是一个开源的消息队列中间件，允许通过异步消息传递来解耦应用程序的各个部分。Swoole 是一个高性能的 PHP 扩展，支持异步编程和协程，适用于构建高并发的网络服务。将 RabbitMQ 与 Swoole 结合使用，可以构建高效、可扩展的应用程序。本文将介绍如何使用 RabbitMQ 和 PHP Swoole 实现一个简单的消息队列示例。使用 Docker 快速启动 RabbitMQ 实例
Python 自动化运维数据湖与大数据平台的自动化管理
switch616的博客
11-11 654
数据湖的架构通常由多个层次组成，包括数据接入层、数据存储层、数据处理层和数据消费层。数据接入层：这一层负责将不同来源的数据采集到数据湖中。数据源可以是日志文件、数据库、外部API等。接入层需要保证数据的稳定流入，同时也需要对接入的数据进行清洗和转换。数据存储层：数据湖通常使用分布式存储系统（如Hadoop HDFS、Amazon S3等）来存储海量数据。运维人员需要确保存储系统的高可用性、数据备份和恢复的能力。数据处理层：数据湖中的数据需要经过ETL（提取、转换、加载）处理。
蓝队技术学习
weixin_65861348的博客
11-12 687
该手册详细规定了在不同安全事件发生时应执行的标准操作程序，按安全事件类别进行了分类阐述。
大数据机器学习算法与计算机视觉应用02：线性规划
qq_35933041的博客
11-12 675
在零和博弈中，是概率和对应收益乘积的总和（收益给定），在最大流问题中，是通往终点所有流量的总和。卡马卡方法又被称作内部点方法，它寻找最优解的方法并非从可行域边界的一个顶点出发，而是从可行域内部的一个点开始。线性规划可以是没有边界的，但是一般都是可行的，否则目标函数无解。单纯形法从可行域的一个顶点开始，依次和附近的点比较，如果发现新的最大值，就进行迁移。在许多情况下，这个方程是没有精确解的，这个时候我们转而去计算最接近的解，也就是要求。的交点上，那么其中一个在最新的这一步出现的概率是多少呢？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值