![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
桸櫾桎栘
任何的限制都是从自己内心开始的
展开
-
配置hadoop时,jobtracker 没…
启动hadoop时发现jobTracker 没有启动 没有启动的原因" /> 查看日志: [Fatal Error] core-site.xml:35:1: XML document structures must start and end within the same entity. Exception in thread "main" java.lang.ExceptionInInit原创 2015-04-14 17:15:24 · 833 阅读 · 0 评论 -
Centos 6.5 机群搭建及问题解决
Centos 6.5 完全分布式搭 三个虚拟机:一主两从 主节点:hadoopm 从节点:hadoops1 hadoops2 网络模式:仅与主机通信 1.关闭防火墙: 永久关闭:chkconfig iptables off 验证:chkconfig –list | grep iptables 6.5 机群搭建及问题解决" /> 2.设置静态IP(这里选择的是仅与主机相连) 方法—: (1)选择电脑原创 2015-04-14 17:15:37 · 655 阅读 · 0 评论 -
机群搭建简版
1.使用centos6.5 三台虚拟机:主节点:hadoop1 从节点:hadoop2 hadoop3 2.虚拟机创建: 分布式的搭建 1.关闭防火墙: 永久关闭:chkconfig iptables off 验证:chkconfig –list | grep iptables 2.设置静态Ip DNS均可在图形界面设置. 重启网卡:service network restart 验证:cmd原创 2015-04-14 17:15:45 · 591 阅读 · 0 评论 -
Centos6.5安装eclipse
1.安装eclipse首先要安装好JDK,选好eclipse的版本很重要,32位要对应32位的,64位要对应64位的建议从官网下载http://www.eclipse.org/downloads/ JDK版本不是挺新的要选择一些旧的版本 2.安装eclipse 我的版本是eclipse-jee-indigo-SR1-linux-gtk-x86_64.tar.gz (1)将eclipse 上传到o原创 2015-04-14 17:16:00 · 3256 阅读 · 0 评论 -
虚拟机上设置静态IP的做法
原文地址:虚拟机上设置静态IP的做法作者:naturelau 虚拟机上设置静态IP的做法。 1、问题:由于业务需要,个人笔记本电脑上用Vmware安装了3台Ubuntu虚拟机,现要求pc机连入局域网后,四台机器(3台ubuntu虚拟机+1台宿主机)能上网,并且,虚拟机要使用某一网段的固定IP。 2、思路:在pc上安装了若干虚拟机,可认为这是独立的机器,虚转载 2015-04-14 17:14:45 · 572 阅读 · 0 评论 -
初学hadoop文件系统总结
这是自己在学习hadoop权威指南时做的一个总结可能很不全面。 Hadoop有一个抽象的文件系统概念,HDFS只是其中的一个实现,其他文件系统包括:Local HDFS HFTP HAR hfs FT S3 每一种文件系统都是有不同的接口,不仅仅只有java ,c++也可以。这是让我感到比较意外的,因为更多的接口保证了有更多的人可以以自己熟悉的方式来实现自己想要的一个结果这是hadoop开源的火爆原创 2015-04-14 17:15:29 · 432 阅读 · 0 评论 -
Zookper在集群上的安装
安装环境是Centos6.5 hadoop1.12 安装步骤如下: Zookeer安装 (最少三个节点) 安装在集群hadoopm中 首先保证时间的一致性如果没有的话按照以下步骤操作 # chkconfig --list | grep ntpd 看看ntpd有没有开机自启动(如果显示的全为off则表明不是开机自启动),如果是开机自启动的,需要执行: # chkconfig ntpd of原创 2015-04-14 17:16:08 · 697 阅读 · 0 评论 -
hdase web 管理打不开60010 60030
1.主要是防火墙的原因 永久关闭防火墙的命令 :chkconfig iptables off 验证:chkconfig --list | grep iptables 此操作需要最高权限原创 2015-04-14 17:15:16 · 474 阅读 · 0 评论 -
Centos 6.5 搭建hadoop…
搭建伪分布: 准备:Centos 6.5 hadoop1.1.2 xsell winsp vm 1.设置静态IP,关闭防火墙 设置DNS 网络连接模式:选择仅与主机共享,默认是网卡 VMnet1 关闭防火墙 永久关闭: chkconfig iptables off 验证:chkconfig --list | grep iptables 6.5 搭建hadoop伪分布(只有hadoop)" /> 查原创 2015-04-14 17:15:21 · 467 阅读 · 0 评论 -
HBASE集群搭建
HBASE的集群搭建 上传hbase并解压到对应的目录tar –zxvf hbase-0.94.7-security.tar.gz 对于解压缩出来的文件进行重命名 mv hbase-0.94.7-security hbase 配置环境变量vi /etc/profile export HBASE_HOME=/opt/modules/hadoop/hbase 在PATH路径下添加:$HBA原创 2015-04-14 17:16:13 · 414 阅读 · 0 评论 -
每天一点hadoop 第二篇 HDFS(一)
每天一点hadoop 第二篇 HDFS(一2015/4/14 下午 12:52:31 ) 在昨天我总结了一些hadoop的常识性的知识,那么接下来我就总结一下hadoop中HDFS的知识点。 1.HDFS的由来 HDFS全称是Hadoop Distributed Filesystem,是借鉴于Google的GFS开发的分布式文件系统。那么什么又是分布式文件系统呢?管理网络中跨多台计算机存储的原创 2015-04-14 12:52:59 · 471 阅读 · 0 评论 -
Sqoop的安装
1.解压sqoop:tar-zxvf sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz 2.对于文件sqoop-1.4.3.bin__hadoop-1.0.0 进行重命名 3.配置环境变量 进入sqoop目录下 对于文件sqoop-env-template.sh 进行重命名 sqoop-env.sh 修改sqoop-env.sh文件 添加hadoop hive hba原创 2015-04-14 17:16:21 · 431 阅读 · 0 评论 -
Linux 下用eclipse 连接hadoop
参考:http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html http://blog.sina.com.cn/s/blog_13026aa0e0102vaaf.html 第一步:启动hadoop 第二步:将hadoop-eclipse-plugin-1.1.2.jar放到 eclipse安装目录/plugins/下。 第原创 2015-04-14 17:16:03 · 517 阅读 · 0 评论 -
HBASE 安装、shell脚本命令进…
HBASE安装 进入shell命令 一.HBASE 的安装 1.首先修改hadood配置文件中hdfs-site.xml的配置 vi hdfs-site.xml 修改内容如下: dfs.support.append true dfs.datanode.max.xcievers 4096 安装、shell脚本命令进入hbas关联hadoop" /> 2.重启hadoop,将hdfs也重新启动原创 2015-04-14 17:15:32 · 522 阅读 · 0 评论 -
HIVE及Mysql 的安装
Hive的安装 解压缩 :tar –zxvf hive-0.9.0.tar.gz 重命名:mv hive-0.9.0 hive 的安装" /> 设置环境变量 vi /etc/profile export HIVE_HOME=/opt/hive 在path中加入:$HIVE_HOME/bin 的安装" /> source /etc/profile 在hive文件下的conf原创 2015-04-14 17:16:18 · 630 阅读 · 3 评论 -
eclipse中导入hadoop源码
原文地址:eclipse中导入hadoop源码作者:rainbowj234第一步:在Eclipse新建一个Java项目 第二步:将Hadoop程序src下core, hdfs, mapred, tools几个目录copy到上述新建项目的src目录 第三步:修改将Java Build Path,删除src,添加src/core, src/hdfs....几个源码目录 第四步:为J转载 2015-04-14 17:15:26 · 566 阅读 · 0 评论 -
Hadoop虚拟机,Eclipse设置…
原文地址:Hadoop虚拟机,Eclipse设置和Hadoop交互作者:Mr-Data下载Hadoop虚拟机, 1. 在Google Code University中,可以下载Hadoop的虚拟机(点击下载)。 2. 压缩包中包括 image.vmx(一些配置文件)和20GB.vmdk(虚拟硬盘用来存储数据) 3. 打开虚拟机后,用guest/guest登录,(管理员用户为root/root),使转载 2015-04-14 17:15:09 · 582 阅读 · 0 评论 -
Hadoop之Hbase数据库完全分…
原文地址:Hadoop之Hbase数据库完全分布模式安装guide(转帖)作者:天天向下原帖地址: http://space.itpub.net/?uid-26686207-action-viewspace-itemid-747896 1.安装环境简介 物理笔记本:i5 2.27GHz (4 CPU) 4G内存320GB硬盘32位win7操作系统 虚拟机:Product VMware® Wor转载 2015-04-14 17:15:47 · 650 阅读 · 0 评论 -
ssh免登录问题
今天在搭建hadoop集群时遇到了一些问题,主要是ssh 免登录的问题。配置完成过后经常是3台虚拟机中有一台可以访问前两台,但访问自己却出错,另外的是只能访问自己不能访问另外的机子。为此自己也是折腾了好几晚。(自己比较笨)。从网上查资料问题解释的很多,方法很多。我就从自己的经验给大家说说吧。 首先是产生公私密钥,方法我用了两种: 第一种是:ssh-keygen(一路回车),在此过程中会询问一些问原创 2015-04-14 17:15:40 · 330 阅读 · 0 评论 -
Pig的安装
Pig安装 上传文件,解压到指定目录tar –zxvf - pig-0.11.1.tar.gz 对文件进行重命名 mv pig-0.11.1 pig 修改环境变量 vi /etc/profile 添加内容: export PIG_HOME=/opt/pig/bin 修改path内容: $PIG_HOME/bin 重启环境变量:source /etc/profile原创 2015-04-14 17:16:16 · 321 阅读 · 0 评论 -
HBASE的伪分布安装(简单)
HBase的安装 上传hbase并解压tar –zxvf hbase-0.94.7-security.tar.gz 对hbase进行重命名。 mv hbase-0.94.7-security hbase 修改环境变量,添加新的变量 添加:export HBASE_HOME=/opt/hbase 在export PATH中增加$HBASE_HOME/bin 重启环原创 2015-04-14 17:16:10 · 781 阅读 · 0 评论 -
在Centos中设置静态Ip
在CENTOS 64位中设置静态IP 第一步: 进入root账户,进入终端输入ifconfig 查看本机网络,在宿主机(windows )cmd 中输入ipconfig 查看计算机的网络, NAT模式下查看VMnet8. 第二步: 第三步: 依次添加 虚拟机的IP 添加默认网关netmask:255.255.255.0 最后再添加Gateway输入IPv4地址(来自宿主计算机): 选择应原创 2015-04-14 17:14:47 · 400 阅读 · 0 评论 -
HBASE安装
HBASE安装 进入shell命令 目录 HBASE安装 进入shell命令 1 一.HBASE 的安装 3 1.首先修改hadood配置文件中hdfs-site.xml的配置 3 2.重启hadoop, 3 3.解压与安装HDBSA 4 二.进入脚本命令编辑 7 三.使用hadoop支持hadoopMApReduce 8 (1)查看hbase的java原创 2015-04-14 17:15:50 · 364 阅读 · 0 评论 -
hadoop集群中增加节点
hadoop集群中增加新节点 向一个正在运行的Hadoop集群中增加几个新的Nodes 1. 新节点上部署java/hadoop程序,配置相应的环境变量 2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys 3. 新节点上设置host,需要有集群中各节点的host对应 4. 新节点上建立相关的目录,并修改属主 5. master的sl转载 2015-07-05 17:39:43 · 844 阅读 · 0 评论