![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop大数据
文章平均质量分 79
zhuguorong11
这个作者很懒,什么都没留下…
展开
-
hadoop中执行jar时一直卡在INFO mapreduce.Job: Running job
发现这个问题后找了好多资料,结果最后只是因为在yarn-site.xml配置文件中把value写错了,坑爹啊,修改正确后执行成功原创 2016-08-27 12:23:51 · 4475 阅读 · 4 评论 -
eclipse连接远程hadoop集群开发时权限不足问题解决方案
eclipse连接远程hadoop集群开发时报错 Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=d, access=WRITE, inode="data":zxg:supergroup:rwxr-xr-x at org.ap原创 2016-11-11 12:08:59 · 345 阅读 · 0 评论 -
hdfs的一些命令
1.查看hdfs文件系统根目录内容hdfs dfs -ls /2.查看文件内容hdfs dfs -cat path ,-cat对象必须是文件,不能对目录查看。-du path 显示目录中所有文件大小-count path 显示目录中文件数量-mv 移动文件-cp转载 2016-08-26 22:05:00 · 557 阅读 · 0 评论 -
zookeeper3.4.6配置
zookeeper3.4.6集群部署2015-04-14 14:25 8464人阅读 评论(1) 收藏 举报在安装Zookeeper之前,首先需要确保的就是主机名称(可选)、hosts都已经更改,并且JDK成功安装。 1、安装Zookeeper使用命令“tar -zxvf”命令将gz压缩文件解压。笔者Zookeeper的安装目录为:“/home/转载 2016-11-12 22:52:13 · 393 阅读 · 0 评论 -
hbase完全分布安装
安装Hbase(1)下载hbase版本 下载地址:http://www.apache.org/dyn/closer.cgi/hbase/,在此路径下选择相应的版本下载,本次安装下载hadoop1.0.0版本(2)解压hbase-1.0.0-bin.tar.gz tar zxvf hbase-1.0.0-bin.tar.gz –C/home/hadoop0转载 2016-11-12 23:22:13 · 1435 阅读 · 0 评论 -
storm集群搭建
版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]//搭建storm集群(apache-storm-0.9.5.tar.gz)# by coco# 2015-07-15前期准备:3台服务器:192.168.8.94 192.168.8.95192.168.8.96去storm官网下载响转载 2016-11-18 12:49:35 · 323 阅读 · 0 评论 -
Hbase一些简单DAO操作
package com.koubei.hidb.dao; import java.io.IOException; import java.util.Map; /** * @author zhenghui * @version 1.0 * @data 2010-12-20 下午02:19:53 * * 对hbase的DA转载 2016-12-10 18:46:54 · 620 阅读 · 0 评论 -
Spark 1.6.1分布式集群环境搭建
一、软件准备scala-2.11.8.tgzspark-1.6.1-bin-hadoop2.6.tgz二、Scala 安装1、master 机器(1)下载 scala-2.11.8.tgz, 解压到 /opt 目录下,即: /opt/scala-2.11.8。(2)修改 scala-2.11.8 目录所属用户和用户组。转载 2016-11-19 17:39:49 · 340 阅读 · 0 评论 -
hive中出现rg.apache.hadoop.hive.ql.exec.mr.MapRedTask错误
困扰了好久啊啊 啊啊啊啊啊啊啊出现异常java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 到hive后台查看日志 Caused by:原创 2016-12-04 14:11:56 · 9228 阅读 · 0 评论 -
hive安装和简单使用
转自http://blog.fens.me/hadoop-hive-intro/转载 2016-09-24 19:17:13 · 297 阅读 · 0 评论 -
Hive导入大数据文件
转自http://blog.fens.me/hadoop-hive-10g/主要介绍了如何把一个大数据文件导入到hive中以及操作转载 2016-09-24 17:41:18 · 1343 阅读 · 0 评论 -
在ubuntu部署hadoop之全分布模式
安装一个Hadoop集群时,需要专门指定一个服务器作为主节点。三台虚拟机搭建的集群:(搭建集群时主机名不能一样,主机名在/etc/hostname修改)master机器:(集群的主节点,驻留NameNode和JobTracker守护进程)IP:192.168.3.100 机器名:masterslaves机器:(集群的从节点,驻留DataNode和TaskTracker转载 2016-08-26 21:03:13 · 926 阅读 · 0 评论 -
Hadoop-2.6.0伪分布--安装配置hbase-0.99
1、2、分别为hadoop下载和安装3、解压hbase: 结果: 4、修改hbase 文件权限为一般用户权限: 5、设置环境变量:配置内容:保存配置: 6、进入配置文件目录: 7、配置 hbase-env.sh 文件: 配置内容: 8、配置 hbase-site.xml :转载 2016-09-03 15:15:35 · 397 阅读 · 0 评论 -
Hbase简单操作
进入hbase shell后的一些简单操作1、status 可以查看当前hadoop的文件系统情况:1 servers, 0 dead, 2.0000 average load2、version可以查看hbase的版本3、创建一张表 create 'member','member_id','address','info'4、查看当前有多少表 list原创 2016-09-03 15:50:09 · 342 阅读 · 0 评论 -
hadoop2.6下pig安装
http://mirrors.hust.edu.cn/apache/pig/ 下载pig压缩包然后编辑环境变量vim /etc/profile增加内容,类似如下export PIG_HOME=/ROOT/server/pigexport PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop export PATH=/ROOT/server原创 2016-09-04 13:02:26 · 476 阅读 · 0 评论 -
Hadoop常用命令
这篇文章主要是讲一下位于bin下的hadoop命令,我们可以直接输入hadoop无任何参数看一下:用法就是:hadoop [---config confdir] COMMAND此处COMMAND就是下面列出来的那些,fs, version,jar 等等。用户命令fs目前版本的hadoop已经摒弃了fs命令,取而代之的是hdfs dfs. Us转载 2016-08-25 15:13:10 · 2655 阅读 · 0 评论 -
hadoop2.6下安装hive
Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程,它提供了对外的入口来获取用户的指令然后对指令进行分析,解析出一个MapReduce程序组成可执行计划,并按照该计划生成对应的MapReduce任务提交给Hadoop集群处理,获取最终的结果。元数据——如表模式——原创 2016-09-04 22:03:50 · 1054 阅读 · 0 评论 -
ubuntu下安装Hadoop2.6.0单机模式
1、一定要先装好ssh,这个简单,直接有命令行apt-get install openssh-server即可 完成sudo /etc/init.d/ssh start启动2、安装java环境,sudo apt-get install openjdk-7-jdk,查看安装结果,输入命令:java -version,结果如下表示安装成功。3、安装hadoop2.6.0转载 2016-08-23 21:58:08 · 367 阅读 · 0 评论 -
在安装Hadoop伪分布模式时的错误和一些问题
因为在hadoop/etc中当时复制了一份hadoop,所以在执行start-dfs.sh时会出现Unable to load native-hadoop library for your platform... using builtin-java classes where applicable和Incorrect configuration: namenode address dfs.nam原创 2016-08-25 14:17:27 · 1109 阅读 · 0 评论 -
第一个hadoop入门程序WordCount
package com.yootk.mr.demo;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoo原创 2016-08-26 12:50:33 · 570 阅读 · 0 评论 -
java远程连接hbase can't get location
添加hbase-site.xml配置文件 在工程根目录下创建conf文件夹,将$HBASE_HOME/conf/目录中的hbase-site.xml文件复制到该文件夹中。通过右键选择Propertie->Java Build Path->Libraries->Add Class Folder。转载 2016-11-26 11:30:27 · 6629 阅读 · 0 评论