![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 64
zhangjiafeng111
这个作者很懒,什么都没留下…
展开
-
如何编译hadoop中的libhdfs
ant compile-c++-libhdfs -Dislibhdfs=true原创 2012-01-04 17:35:30 · 78 阅读 · 0 评论 -
hbase源码分析(一):客户端数据入库
Hbase插入数据的过程大致是: 客户端提交请求给region server(这中间会有作一些缓存) region server接收到请求,判断如果是put请求,将其put到memstore 每次memstore的操作,都会检查memstore是否操作一个阈值,如果超过,就开始执行flush(),这个flush其实就是从内存中的KeyValue对持久化到HStore(也就是HFil...原创 2012-05-14 17:06:14 · 132 阅读 · 0 评论 -
hadoop-2.0-cdh4 HA 解决方案安装文档
1.安装NFS,配置共享目录 安装配置NFS NFS是Network File System的简写,即网络文件系统.网络文件系统是FreeBSD支持的文件系统中的一种,也被称为NFS. NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS,用户和程序可以象访问本地文件一样访问远端系统上的文件。CentOS系统中如何安装和配置nfs呢,下面我们就来学习一下方法。首先我们来介...原创 2012-08-21 17:27:23 · 121 阅读 · 0 评论 -
关于 MapReduce Too Many fetch failures.Failing the attempt错误
reduce task启动后的第一阶段是shuffle(向map端fetch数据),每次fetch数据的时候都可能因为connect timeout,read timeout,checksum error等原因时报,因而reduce task为每个map设置了一个计数器,用以记录fetch该map输出时失败的次数,当失败次数达到一定阀值的时候。会通知MRAppMaster 从该map fetch数...原创 2012-12-05 11:50:03 · 1564 阅读 · 0 评论 -
hive 支持hadoop-0.23.1
hive要支持hadoop-0.23.1需要自己从源码编译,具体的做法如下: $ svn co http://svn.apache.org/repos/asf/hive/trunk hive $ cd hive $ ant clean package -Dhadoop.version=0.23.1 -Dhadoop-0.23.version=0.23.1 -Dhado...原创 2012-09-10 14:03:43 · 98 阅读 · 0 评论 -
HBase 写入数据Region路由机制
HBase put一条数据 Region 路由规则 1.客户端put接口 org.apache.hadoop.hbase.client.HTableInterface.put(Put put) org.apache.hadoop.hbase.client.HTable.put public void put(final Put put) throws IOExceptio...原创 2014-01-17 15:16:35 · 390 阅读 · 0 评论