Hadoop
zqhxuyuan
这个作者很懒,什么都没留下…
展开
-
图说Hadoop源码-NameNode: NetworkTopology.InnerNode
http://huati.weibo.com/k/图说Hadoop源码 图说Hadoop源码系列 NetworkTopology将整个集群中的DN存储成了一个树状网络拓扑图, 表示一个具有树状网络拓扑结构的计算机集群, 一个集群可能由多个数据中心Data Center组成, 在这些数据中心分布着为计算需求而设置的很多计算机的机架Rack. InnerNode内部类, 表示数据中心/原创 2013-08-22 21:14:54 · 2328 阅读 · 1 评论 -
Hello Giraph
Apache Giraph http://blog.cloudera.com/blog/2014/02/how-to-write-and-run-giraph-jobs-on-hadoop/ http://blog.cloudera.com/blog/2014/05/how-to-manage-time-dependent-multilayer-networks-in-apache-hadoo原创 2015-01-16 11:44:32 · 3585 阅读 · 0 评论 -
virtualbox ubuntu hadoop-1.0.4 完全分布式
主机操作系统:Ubuntu-12.04 虚拟机操作系统:Ubuntu-10.04.iso 虚拟机软件:Virtualbox-4.2.deb ps:从evernote复制到iteye,图片都没有,查看完整版本,移动evernote共享: https://www.evernote.com/pub/xuyuantree/10_hadoop 设置VirtualBox的Host-o...2013-04-26 21:53:21 · 233 阅读 · 0 评论 -
Hadoop源码分析-JAVA RPC
JAVA RPC: http://jbm3072.iteye.com/blog/1088102 目标:让客户端调用远程机器(不同JVM上)的方法. 技术:RPC(Remote Process Call远程过程调用) 优点:使用RPC,可以像使用本地的程序(本地JVM)一样使用远程服务器上的程序。使用RPC的好处是简化了远程服务访问。提高了开发效率。 做法:在分发代码时,只需要将接...原创 2013-05-14 23:00:03 · 129 阅读 · 0 评论 -
Hadoop源码分析-RPC
方法 说明 waitForProxy 保证namenode启动正常且连接正常,主要由SecondayNode、Datanode、JobTracker使用 stopProxy 停止代理 getProxy 创建代理实例,获得代理实例的versioncode,再与getProxy()传入的versionco...原创 2013-05-14 23:12:05 · 149 阅读 · 0 评论 -
Hadoop源码分析-RPC.Client
内部类 作用 Call 用于封装Invocation对象,作为VO写到服务端,同时也用于存储从服务端返回的数据 Connection 用以处理远程连接对象。继承了Thread ConnectionId 唯一确定一个连接 由于Client可能和多个Server通信, 典型的一次HDFS读...原创 2013-05-14 23:20:40 · 129 阅读 · 0 评论 -
Hadoop源码分析-RPC.Server
内部类 作用 Call 存储客户端发来的请求 Listener 监听类: 监听客户端发来的请求,内部静态类Listener.Reader: 当监听器监听到用户请求,便让Reader读取用户请求 Responder 响应RPC请求类,请求处理完毕,由Responder发送给请求客户端 ...原创 2013-05-14 23:30:41 · 183 阅读 · 0 评论 -
Hadoop源码分析- RPC DataNode
见附件内容 FileSystem Writable RPC概述 RPC.Client Server RPC Protocol HDFS基本概念 Hadoop Upgrade Datanode存储 DataNode数据块读写 DataNode协议 DataNode 正在分析NameNode. 待续 ...2013-05-29 11:29:22 · 112 阅读 · 0 评论 -
Hadoop源码注释 - 块读取
DFSClient.RemoteBlockReader.newBlockReader() public static BlockReader newBlockReader( Socket sock, String file, long blockId, Token<BlockTokenIdentifier> accessToken, long genStam...2013-07-26 10:39:23 · 485 阅读 · 0 评论 -
Hadoop DataNode小结
在分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作. **A. DataNode的主要工作流程:** 1. 客户端和DataNode的通信: 客户端向DataNode的`数据块读写`, 采用TCP/IP流接口(DataXceiver)进行数据传输 2. 客户端在检测到DataNode异常, 主动发起的`数据块恢复...原创 2013-08-08 16:04:15 · 184 阅读 · 0 评论 -
Hello Cassandra
QuickStart $ cd soft/apache-cassandra-2.1.2 $ bin/cassandra 上面的命令会在后台启动cassandra, 即使你Ctl+C, cassandra的进程仍然存在 初次启动时, 不存在data目录, cassandra会帮我们创建 hadoop@hadoop:~/soft/apache-cass原创 2015-01-16 11:40:30 · 939 阅读 · 0 评论 -
Hello Riak
http://docs.basho.com/riak/latest/quickstart/ http://riak.com.cn/riak/latest https://github.com/websterclay/pimp_my_riak/blob/master/doc/basic-client.txt QuickStart 安装Erlang http://blog.csdn原创 2015-01-16 11:42:00 · 2187 阅读 · 0 评论 -
图说Hadoop源码-NetworkTopology
NetworkTopology定义了InnerNode为根节点的成员变量clusterMap, 其中的方法都是通过clusterMap调用InnerNode中的相应方法并更新一些其他变量. 比如NetworkTopology.add(Node)会通过clusterMap.add(node)来完成, 并更新NetworkTopology的变量numOfRacks和depthOfAllLeaves原创 2013-08-23 14:34:57 · 1484 阅读 · 1 评论 -
图说MapReduce源码--JobTracker.getSetupAndCleanupTasks 任务选择顺序
Hadoop将一个作业分解后的任务分成计算型任务和辅助型任务. 计算型任务是实际处理数据的任务, 包括Map和Reduce任务, 由专门的任务调度器TaskScheduler对它们进行调度(分配任务). 辅助型任务通常不会处理实际的数据, 而是用于同步计算型任务和清理磁盘上无用的目录. 包括job-setup task, job-cleanup task, task-cleanup task. 其原创 2013-10-15 15:21:43 · 1291 阅读 · 0 评论 -
Hello Tez
Tez http://www.infoq.com/cn/articles/apache-tez-saha-murthy http://hortonworks.com/blog/apache-tez-a-new-chapter-in-hadoop-data-processing/ http://www.cnblogs.com/fxjwind/p/3377695.html http:/原创 2015-01-27 16:46:45 · 1650 阅读 · 0 评论 -
Hello Flink
Setup $ wget -O ~/data/gutenberg/hamlet.txt http://www.gutenberg.org/cache/epub/1787/pg1787.txt $ cd ~/soft/flink-0.7.0-incubating $ bin/start-local.sh $ jps -m 18689 JobManager -executionMode lo原创 2015-01-27 16:40:50 · 1571 阅读 · 0 评论 -
Hadoop QuickStart VM
Cloudera-Quickstart-VM-5.3.0 下载包: http://www.cloudera.com/content/cloudera/en/downloads/quickstart_vms/cdh-5-3-x.html 打开终端, 默认是cloudera用户, 切换到root用户 su - 密码cloudera [root@quickstart ~]# ll原创 2015-01-27 16:55:27 · 4943 阅读 · 0 评论 -
Hello Crunch
Ref: http://blog.csdn.net/pelick/article/details/38359361 http://blog.cloudera.com/blog/2011/10/introducing-crunch/ http://blog.cloudera.com/blog/2014/05/how-to-process-time-series-data-using-apa原创 2015-01-14 17:25:55 · 790 阅读 · 0 评论 -
Hello Presto
◎ 架构 ◎ 安装前提 按照 http://prestodb.io/overview.html 其中要求jdk必须是1.8, 否则启动会报错版本不匹配. ◎ 配置文件 在presto-server安装目录下新建etc目录, 并新建以下配置文件和catalog目录 配置文件 配置项 config.proper原创 2015-01-14 17:36:51 · 2928 阅读 · 1 评论 -
Hello Lucid Fusion
Meet Lucid Fusion https://docs.lucidworks.com/display/fusion/Getting+Started http://zh.hortonworks.com/partner/lucidworks/ https://lucidworks.com/blog/noob-notes-fusion-first-look/ hadoop@ha原创 2015-01-16 11:52:49 · 923 阅读 · 0 评论 -
MapReduce源码注释-MapTask.MapOutputBuffer.Buffer
public class Buffer extends OutputStream { private final byte[] scratch = new byte[1]; public synchronized void write(int v) throws IOException { scratch[0] = (byte)v; ...原创 2013-10-28 14:49:29 · 158 阅读 · 0 评论