栎梓天冲的专栏

启动hadoop时发现jobTracker 没有启动 没有启动的原因" />查看日志：[Fatal Error] core-site.xml:35:1: XML document structures muststart and end within the same entity.Exception in thread "main"java.lang.ExceptionInInit

Centos 6.5 完全分布式搭三个虚拟机：一主两从 主节点：hadoopm 从节点：hadoops1 hadoops2 网络模式：仅与主机通信1.关闭防火墙：永久关闭：chkconfig iptables off验证：chkconfig –list | grep iptables6.5 机群搭建及问题解决" />2.设置静态IP（这里选择的是仅与主机相连）方法—：(1)选择电脑

1.使用centos6.5三台虚拟机：主节点：hadoop1 从节点:hadoop2 hadoop32.虚拟机创建：分布式的搭建1.关闭防火墙：永久关闭：chkconfig iptables off验证：chkconfig –list | grep iptables2.设置静态Ip DNS均可在图形界面设置.重启网卡：service network restart验证：cmd

1.安装eclipse首先要安装好JDK，选好eclipse的版本很重要，32位要对应32位的，64位要对应64位的建议从官网下载http://www.eclipse.org/downloads/JDK版本不是挺新的要选择一些旧的版本2.安装eclipse我的版本是eclipse-jee-indigo-SR1-linux-gtk-x86_64.tar.gz（1）将eclipse 上传到o

原文地址：虚拟机上设置静态IP的做法作者：naturelau虚拟机上设置静态IP的做法。        1、问题：由于业务需要，个人笔记本电脑上用Vmware安装了3台Ubuntu虚拟机，现要求pc机连入局域网后，四台机器(3台ubuntu虚拟机+1台宿主机)能上网，并且，虚拟机要使用某一网段的固定IP。        2、思路：在pc上安装了若干虚拟机，可认为这是独立的机器，虚

这是自己在学习hadoop权威指南时做的一个总结可能很不全面。Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现，其他文件系统包括：Local HDFS HFTP HARhfs FT S3 每一种文件系统都是有不同的接口，不仅仅只有java,c++也可以。这是让我感到比较意外的，因为更多的接口保证了有更多的人可以以自己熟悉的方式来实现自己想要的一个结果这是hadoop开源的火爆

安装环境是Centos6.5 hadoop1.12安装步骤如下：Zookeer安装 (最少三个节点)安装在集群hadoopm中首先保证时间的一致性如果没有的话按照以下步骤操作# chkconfig --list | grep ntpd看看ntpd有没有开机自启动（如果显示的全为off则表明不是开机自启动），如果是开机自启动的，需要执行：# chkconfig ntpd of

1.主要是防火墙的原因永久关闭防火墙的命令 ：chkconfig iptables off验证：chkconfig --list | grep iptables 此操作需要最高权限

搭建伪分布：准备：Centos 6.5 hadoop1.1.2 xsell winsp vm1.设置静态IP，关闭防火墙 设置DNS网络连接模式：选择仅与主机共享，默认是网卡 VMnet1关闭防火墙永久关闭： chkconfig iptables off验证：chkconfig --list | grep iptables6.5 搭建hadoop伪分布（只有hadoop）" />查

HBASE的集群搭建上传hbase并解压到对应的目录tar –zxvfhbase-0.94.7-security.tar.gz对于解压缩出来的文件进行重命名 mvhbase-0.94.7-security hbase配置环境变量vi /etc/profileexport HBASE_HOME=/opt/modules/hadoop/hbase在PATH路径下添加：$HBA

每天一点hadoop 第二篇 HDFS(一2015/4/14 下午 12:52:31 ) 在昨天我总结了一些hadoop的常识性的知识，那么接下来我就总结一下hadoop中HDFS的知识点。1.HDFS的由来 HDFS全称是Hadoop Distributed Filesystem，是借鉴于Google的GFS开发的分布式文件系统。那么什么又是分布式文件系统呢？管理网络中跨多台计算机存储的

1.解压sqoop:tar-zxvf sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz2.对于文件sqoop-1.4.3.bin__hadoop-1.0.0 进行重命名3.配置环境变量 进入sqoop目录下对于文件sqoop-env-template.sh 进行重命名 sqoop-env.sh修改sqoop-env.sh文件 添加hadoop hive hba

参考：http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.htmlhttp://blog.sina.com.cn/s/blog_13026aa0e0102vaaf.html第一步：启动hadoop第二步:将hadoop-eclipse-plugin-1.1.2.jar放到 eclipse安装目录/plugins/下。第

HBASE安装进入shell命令一.HBASE的安装1.首先修改hadood配置文件中hdfs-site.xml的配置vihdfs-site.xml修改内容如下：dfs.support.appendtruedfs.datanode.max.xcievers4096安装、shell脚本命令进入hbas关联hadoop" />2.重启hadoop，将hdfs也重新启动

Hive的安装解压缩 :tar –zxvfhive-0.9.0.tar.gz重命名:mv hive-0.9.0 hive的安装" />设置环境变量 vi /etc/profileexport HIVE_HOME=/opt/hive在path中加入：$HIVE_HOME/bin的安装" />source /etc/profile在hive文件下的conf

原文地址：eclipse中导入hadoop源码作者：rainbowj234第一步：在Eclipse新建一个Java项目 第二步：将Hadoop程序src下core, hdfs, mapred, tools几个目录copy到上述新建项目的src目录 第三步：修改将Java BuildPath，删除src，添加src/core, src/hdfs....几个源码目录 第四步：为J

原文地址：Hadoop虚拟机，Eclipse设置和Hadoop交互作者：Mr-Data下载Hadoop虚拟机，1. 在Google Code University中，可以下载Hadoop的虚拟机（点击下载）。2. 压缩包中包括 image.vmx（一些配置文件）和20GB.vmdk（虚拟硬盘用来存储数据）3. 打开虚拟机后，用guest/guest登录，（管理员用户为root/root）,使

原文地址：Hadoop之Hbase数据库完全分布模式安装guide(转帖)作者：天天向下原帖地址：http://space.itpub.net/?uid-26686207-action-viewspace-itemid-7478961.安装环境简介物理笔记本：i52.27GHz (4 CPU) 4G内存320GB硬盘32位win7操作系统虚拟机：ProductVMware® Wor

今天在搭建hadoop集群时遇到了一些问题，主要是ssh免登录的问题。配置完成过后经常是3台虚拟机中有一台可以访问前两台，但访问自己却出错，另外的是只能访问自己不能访问另外的机子。为此自己也是折腾了好几晚。（自己比较笨）。从网上查资料问题解释的很多，方法很多。我就从自己的经验给大家说说吧。首先是产生公私密钥，方法我用了两种：第一种是：ssh-keygen(一路回车)，在此过程中会询问一些问

Pig安装上传文件，解压到指定目录tar –zxvf -pig-0.11.1.tar.gz对文件进行重命名 mv pig-0.11.1 pig修改环境变量 vi /etc/profile添加内容： export PIG_HOME=/opt/pig/bin修改path内容： $PIG_HOME/bin重启环境变量：source /etc/profile

HBase的安装上传hbase并解压tar –zxvfhbase-0.94.7-security.tar.gz对hbase进行重命名。 mvhbase-0.94.7-security hbase修改环境变量，添加新的变量添加：export HBASE_HOME=/opt/hbase在export PATH中增加$HBASE_HOME/bin 重启环

在CENTOS 64位中设置静态IP第一步：进入root账户，进入终端输入ifconfig 查看本机网络，在宿主机（windows ）cmd 中输入ipconfig查看计算机的网络， NAT模式下查看VMnet8.第二步： 第三步：依次添加 虚拟机的IP添加默认网关netmask:255.255.255.0最后再添加Gateway输入IPv4地址（来自宿主计算机）：选择应

HBASE安装 进入shell命令目录HBASE安装进入shell命令    1 一.HBASE的安装    31.首先修改hadood配置文件中hdfs-site.xml的配置    32.重启hadoop，    33.解压与安装HDBSA    4二.进入脚本命令编辑    7三.使用hadoop支持hadoopMApReduce    8(1)查看hbase的java

hadoop集群中增加新节点向一个正在运行的Hadoop集群中增加几个新的Nodes1. 新节点上部署java/hadoop程序，配置相应的环境变量2. 新节点上增加用户，从master上拷贝id_rsa.pub并配置authorized_keys3. 新节点上设置host，需要有集群中各节点的host对应4. 新节点上建立相关的目录，并修改属主5. master的sl