![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Mr-zhou
本人从事hadoop方向工作希望和大家多有交流的机会和有志在此方向有所成绩的战友共同学习
展开
-
hadoop hbase 升级
Hadoop HDFS 与Hbase升级笔记由于之前使用了hadoop1.0.2,hbase 使用的是hbase-0.92.1 但是一次事故导致元数据丢失,且修复元数据的类本身有BUG 所以摆在眼前的只有两条路:1、修改hbase源码重新编译 hbase 修复BUG 2、升级到下一个版本,且这个版本已经修复了此BUG 从release node中看到 0.92.2及以后版本均修复了原创 2013-03-01 15:52:32 · 3270 阅读 · 0 评论 -
Hadoop学习笔记---MapReduce
1、认识MapReduce MapReduce 是一种可用于数据处理的编程模型,有一下特点: 编程模型简单,但业务实现不一定简单; Hadoop可以运行各种该语言编写的MapReduce程序,如java,python 等,很多企业为求开发效率采用python来开发MapReduce程序; MapReduce 程序是并行运行的,所以又叫批处理程序。原创 2014-03-24 14:45:05 · 3257 阅读 · 0 评论 -
Hadoop学习笔记---基本概念
0、前言: 不做过多介绍Hadoop 网上比比皆是,每本书买来一看,第一张都是千篇一律,本文不做过多阐述,希望将此文建立在对hadoop有些了解的基础上,本文的总体流程是,先提出一个subject,然后根据关联将相关联的概念参数一并带出,虽整体不美观,但有助于将相关知识汇总记忆。1、Hadoop 版本图: 第一个大的主线是社区版的Hadoop路线图,200原创 2014-03-24 14:28:43 · 3717 阅读 · 0 评论 -
Hadoop学习笔记二---HDFS
HDFS的概念1、数据块 HDFS跟磁盘一样也有块的概念,磁盘上块的大小一般为512字节,而文件系统的块则一般是磁盘块的整数倍,比如我当前centos块的大小事4096 也就是4K,而HDFS块的大小由参数dfs.block.size 设定默认是64M,但是与单一磁盘文件系统相似,HDFS上的文件也被分为块大小的多个分块(chunk)。 为什么HDFS中的块如此之大?原创 2014-03-24 14:36:49 · 6760 阅读 · 0 评论 -
Hadoop 归档 和HIVE 如何使用har 归档 文件
初级文章,请勿喷,多提意见原创 2014-01-17 18:27:15 · 11556 阅读 · 2 评论 -
hbase 学习笔记一---基本概念
说在前面,本文部分内容来源于社区官网经过适度翻译,部分根据经验总结,部分是抄袭网络博文,(不一一列举引用,在此致歉)一并列在一起,本文的目的,希望能总结出一些有用的,应该注意到的东西,基本思路是先提出一个话题,在此话题内,把相关联的东西加进去,而不是单独分出章节单独介绍,虽然条理性欠差,但有利于后期根据关键词查找。 Apache HBase 是Hadoop database的简称,h原创 2013-10-12 16:08:26 · 17652 阅读 · 2 评论 -
INFO org.apache.hadoop.ipc.RPC: Server at /:9000 not available yet, Zzzzz
转自:http://blog.sina.com.cn/s/blog_893ee27f0100zoh7.html很多情况下遇到类似问题hadoop datanode 问题 INFO org.apache.hadoop.ipc.RPC: Server at /:9000 not available yet, Zzzzz..本以为这个样子就大功告成了,然后我用bin/hadoop转载 2013-04-08 14:11:09 · 5676 阅读 · 0 评论 -
hadoop archive
具体格式如下:hadoop archive -archiveName name.har -p src desthadoop archive -archiveName 20130312.har -p /flume/loginlog/20130312 loglog/这样如果mapreduce 中要指定路径的话,必须明确指定 har 文件如 hadoop jar aaa.jar原创 2013-03-13 11:06:09 · 725 阅读 · 0 评论 -
xceiverCount 258 exceeds the limit of concurrent xcievers 256
看到这个错误,我们就首先应该想到hadoop 的配置参数dfs.datanode.max.xceivers 那这个错误到底是什么错误呢?这个错误是指hadoop上同时运行的线程数不能超过256 也就是dfs.datanode.max.xceivers 的默认值,当使用hbase的时候,这个值很容易就达到了,因为datanode 在写操作时,到文件块的每个打开的连接都会使用一个线程。所以原创 2013-03-04 10:08:03 · 2217 阅读 · 0 评论 -
hadoop1.0.4升级到hadoop2.2 详细流程步骤
hadoop1 升级到hadoop2 借用别人的步骤,在时间中做了细化说明,希望对升级的玩家起到一定的辅助作用原创 2014-09-17 12:05:51 · 5394 阅读 · 1 评论