自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

  • 博客(4)
  • 资源 (1)
  • 收藏
  • 关注

转载 HFILE分析

该文档转载至http://www.open-open.com/lib/view/open1388368126000.html(手动批注) 在这里主要分析一下HFile V2的各个组成部分的一些细节,重点分析了HFile V2的多级索引的机制,接下去有时间的话会分析源码中对HFile的读写扫描操作。HFile和流程:如下图,HFile的组成分成四部分,分别是Scanned Block

2014-01-20 22:33:53 1507

转载 hdfs硬盘中dfs.data.dir相关和一些说明

HDFS 通过dfs.data.dir 字段在配置文件中查询 DFS 的数据在本地文件系统中的存放位置。如果在服务器上配置了多块硬盘(假设都已经挂载到本地文件系统中),我们希望 HDFS 能尽量均衡、充分的利用磁盘。理论上 HDFS 也确实能胜任这项工作。在 HDFS 中,这样的一个存放数据的本地文件系统中的目录被称为volume。直接定位到 Datanode.java 中的代码:

2012-06-12 23:21:28 3222

转载 hadoop-0.23版本安装和一些参数说明

该文章是转载至http://blog.csdn.net/bertzhang/article/details/7029849。hadoop 0.23.0比先前的0.20版本有了很大的改动,而我目前最感兴趣的还是HDFS部分的federation部分,由于相关配置资料比较少,下面就把这两天配置情况总结一下作为备忘:要配置hdfs,关键要知道namenode、datanode、sec

2012-06-04 23:13:06 1003

转载 bigdata

当前的bigdata已经非常热,hadoop系统已经成为这个领域解决问题最快最廉价的解决方案。今天先转载一个bigdata的材料。材料里介绍了很多当前bigdata流行的技术。也提到了下一代bigdata的架构,是否可以是下一代值的讨论,目前很多公司已经开始使用这样的架构了。http://www.slideshare.net/eddodds/big-data-infrastructure1

2012-04-24 22:10:08 386

NextGen Infrastructure for Big Data(bigdata hadoop)

本ppt是一篇比较好的介绍当前bigdata行业的一些技术的材料,里面涉及到很多的架构和当前流行技术

2012-04-24

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除