- 博客(38)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 用实例理解Storm的Stream概念
缘起事情源于在看基于Storm的CEP引擎：flowmix 的FlowmixBuilder代码， 每个Bolt设置了这么多的Group， 而且declareStream也声明了这么多的stream-id， 对于只写过WordCountTopology的小白而言， 直接懵逼了，没见过这么用的啊，我承认一开始是拒绝的，每个Bolt都设置了这么多Group，这TMD拓扑图是什么样的？ pu
2016-06-30 18:08:14
5989
1
原创 Hadoop QuickStart VM
Cloudera-Quickstart-VM-5.3.0下载包: http://www.cloudera.com/content/cloudera/en/downloads/quickstart_vms/cdh-5-3-x.html 打开终端, 默认是cloudera用户, 切换到root用户su - 密码cloudera[root@quickstart ~]# ll
2015-01-27 16:55:27
4958
原创 Hello Tez
Tezhttp://www.infoq.com/cn/articles/apache-tez-saha-murthy http://hortonworks.com/blog/apache-tez-a-new-chapter-in-hadoop-data-processing/ http://www.cnblogs.com/fxjwind/p/3377695.html http:/
2015-01-27 16:46:45
1661
原创 Hello Flink
Setup$ wget -O ~/data/gutenberg/hamlet.txt http://www.gutenberg.org/cache/epub/1787/pg1787.txt$ cd ~/soft/flink-0.7.0-incubating$ bin/start-local.sh$ jps -m18689 JobManager -executionMode lo
2015-01-27 16:40:50
1584
原创 Hello Lucid Fusion
Meet Lucid Fusionhttps://docs.lucidworks.com/display/fusion/Getting+Started http://zh.hortonworks.com/partner/lucidworks/ https://lucidworks.com/blog/noob-notes-fusion-first-look/ hadoop@ha
2015-01-16 11:52:49
939
原创 Hello Giraph
Apache Giraphhttp://blog.cloudera.com/blog/2014/02/how-to-write-and-run-giraph-jobs-on-hadoop/http://blog.cloudera.com/blog/2014/05/how-to-manage-time-dependent-multilayer-networks-in-apache-hadoo
2015-01-16 11:44:32
3603
原创 Hello Riak
http://docs.basho.com/riak/latest/quickstart/ http://riak.com.cn/riak/latest https://github.com/websterclay/pimp_my_riak/blob/master/doc/basic-client.txt QuickStart安装Erlanghttp://blog.csdn
2015-01-16 11:42:00
2202
原创 Hello Cassandra
QuickStart$ cd soft/apache-cassandra-2.1.2$ bin/cassandra上面的命令会在后台启动cassandra, 即使你Ctl+C, cassandra的进程仍然存在初次启动时, 不存在data目录, cassandra会帮我们创建hadoop@hadoop:~/soft/apache-cass
2015-01-16 11:40:30
949
原创 Hello Presto
◎ 架构◎ 安装前提按照 http://prestodb.io/overview.html 其中要求jdk必须是1.8, 否则启动会报错版本不匹配.◎ 配置文件在presto-server安装目录下新建etc目录, 并新建以下配置文件和catalog目录配置文件配置项 config.proper
2015-01-14 17:36:51
2943
1
原创 Hello Crunch
Ref:http://blog.csdn.net/pelick/article/details/38359361http://blog.cloudera.com/blog/2011/10/introducing-crunch/http://blog.cloudera.com/blog/2014/05/how-to-process-time-series-data-using-apa
2015-01-14 17:25:55
800
原创 MapReduce源码注释-MapTask.MapOutputBuffer.Buffer
public class Buffer extends OutputStream { private final byte[] scratch = new byte[1]; public synchronized void write(int v) throws IOException { scratch[0] = (byte)v; ...
2013-10-28 14:49:29
166
原创 图说MapReduce源码--JobTracker.getSetupAndCleanupTasks 任务选择顺序
Hadoop将一个作业分解后的任务分成计算型任务和辅助型任务. 计算型任务是实际处理数据的任务, 包括Map和Reduce任务, 由专门的任务调度器TaskScheduler对它们进行调度(分配任务). 辅助型任务通常不会处理实际的数据, 而是用于同步计算型任务和清理磁盘上无用的目录. 包括job-setup task, job-cleanup task, task-cleanup task. 其
2013-10-15 15:21:43
1301
原创 图说Hadoop源码-NetworkTopology
NetworkTopology定义了InnerNode为根节点的成员变量clusterMap, 其中的方法都是通过clusterMap调用InnerNode中的相应方法并更新一些其他变量. 比如NetworkTopology.add(Node)会通过clusterMap.add(node)来完成, 并更新NetworkTopology的变量numOfRacks和depthOfAllLeaves
2013-08-23 14:34:57
1500
1
原创 图说Hadoop源码-NameNode: NetworkTopology.InnerNode
http://huati.weibo.com/k/图说Hadoop源码 图说Hadoop源码系列NetworkTopology将整个集群中的DN存储成了一个树状网络拓扑图, 表示一个具有树状网络拓扑结构的计算机集群, 一个集群可能由多个数据中心Data Center组成, 在这些数据中心分布着为计算需求而设置的很多计算机的机架Rack. InnerNode内部类, 表示数据中心/
2013-08-22 21:14:54
2346
1
原创 Hadoop DataNode小结
在分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作. **A. DataNode的主要工作流程:** 1. 客户端和DataNode的通信: 客户端向DataNode的`数据块读写`, 采用TCP/IP流接口(DataXceiver)进行数据传输 2. 客户端在检测到DataNode异常, 主动发起的`数据块恢复...
2013-08-08 16:04:15
203
Hadoop源码注释 - 块读取
DFSClient.RemoteBlockReader.newBlockReader() public static BlockReader newBlockReader( Socket sock, String file, long blockId, Token<BlockTokenIdentifier> accessToken, long genStam...
2013-07-26 10:39:23
503
Hadoop源码分析- RPC DataNode
见附件内容 FileSystem Writable RPC概述 RPC.Client Server RPC Protocol HDFS基本概念 Hadoop Upgrade Datanode存储 DataNode数据块读写 DataNode协议 DataNode 正在分析NameNode. 待续 ...
2013-05-29 11:29:22
122
原创 Hadoop源码分析-RPC.Server
内部类作用Call 存储客户端发来的请求Listener 监听类: 监听客户端发来的请求，内部静态类Listener.Reader: 当监听器监听到用户请求，便让Reader读取用户请求Responder 响应RPC请求类，请求处理完毕，由Responder发送给请求客户端...
2013-05-14 23:30:41
198
原创 Hadoop源码分析-RPC.Client
内部类作用Call 用于封装Invocation对象，作为VO写到服务端，同时也用于存储从服务端返回的数据Connection 用以处理远程连接对象。继承了ThreadConnectionId 唯一确定一个连接由于Client可能和多个Server通信, 典型的一次HDFS读...
2013-05-14 23:20:40
144
原创 Hadoop源码分析-RPC
方法说明waitForProxy保证namenode启动正常且连接正常，主要由SecondayNode、Datanode、JobTracker使用stopProxy停止代理getProxy创建代理实例,获得代理实例的versioncode,再与getProxy()传入的versionco...
2013-05-14 23:12:05
162
原创 Hadoop源码分析-JAVA RPC
JAVA RPC: http://jbm3072.iteye.com/blog/1088102 目标:让客户端调用远程机器(不同JVM上)的方法.技术:RPC(Remote Process Call远程过程调用)优点:使用RPC，可以像使用本地的程序(本地JVM)一样使用远程服务器上的程序。使用RPC的好处是简化了远程服务访问。提高了开发效率。做法:在分发代码时，只需要将接...
2013-05-14 23:00:03
138
OSCache 应用与源码分析
缓存配置oscache.propertiescache.memory是否使用内存缓存; true 或 false。默认为true; 如设置为false，那cache只能缓存到数据库或硬盘中。cache.capacity缓存的最大数量。默认是不限制，cache不会移走任何缓存内容。负数也被视不限制。cache.algorithm运算规则。为了使...
2013-04-27 23:06:02
190
SpringMVC源码分析(1) HandlerMapping
源码分析(1):HandlerMapping当用户在浏览器输入一个URL地址,浏览器发起一个http请求,请求到达服务器后,首先会被SpringMVC注册在web.xml中的前端转发器DispatcherServlet接收,DispatcherServlet是一个标准的Servlet,它的作用是接受和转发web请求到内部框架处理单元. HandlerMappingpublic...
2013-04-27 22:00:20
143
virtualbox ubuntu hadoop-1.0.4 完全分布式
主机操作系统：Ubuntu-12.04虚拟机操作系统：Ubuntu-10.04.iso虚拟机软件：Virtualbox-4.2.deb ps：从evernote复制到iteye，图片都没有，查看完整版本，移动evernote共享：https://www.evernote.com/pub/xuyuantree/10_hadoop 设置VirtualBox的Host-o...
2013-04-26 21:53:21
247
原创 Pig Hive HBase Zookeeper安装和配置
Pig Hive HBase Zookeeper安装和配置evernote共享链接: https://www.evernote.com/pub/xuyuantree/20_hadoop@zqh:~$ cd /usr/localhadoop@zqh:/usr/local$ sudo mkdir pighadoop@zqh:/usr/local$ cd /home/z...
2012-07-13 17:51:47
190
原创 Pig UDF(LOAD)示例代码分析
参考文档: Hadoop:The Definitive Guide3E Chapter11.Pig代码具体地址: tomwhite-hadoop-book-32dae01\ch11\src\main\java\com\hadoopbook\pig工具类 public class Range { private final int start; private final...
2012-07-13 17:47:59
163
原创 Meet Hadoop on Windows
hadoop-0.20.2 单机模式和伪分布式部署 1. install cygwin sshd2. 下载hadoop-0.20.2,解压到d:/hadoop-0.20.23. hadoop-evn.sh添加以下配置: export JAVA_HOME=C:/jdk1.6 4. 单机模式 下面的实例将已解压的 conf 目录拷贝作为输入，查找并显示...
2012-02-24 22:16:02
105
原创 Meet MongoDB on Windows
Window7 + MongoDB 初体验 http://www.iteye.com/topic/792606 http://blog.csdn.net/lolinzhang/article/details/4353699 http://www.mongodb.org 1. http://www.mongodb.org 下载文件解压到MongoDB_HOME=D:\so...
2012-02-22 22:30:20
127
2011 项目笔记一. 数据库之向下递归取子组
项目中用户组,设备组采用树. 表结构是最简单的id+parentid来构造树.功能点: 根据组id查询组下的所有子组. 此文首先给出最终版本,并分析如何实现.--***** 数据库最终版本 *****--CREATE OR REPLACE FUNCTION getchild_set(integer,integer) RETURNS SETOF integer AS$BODY$...
2011-10-21 15:57:44
132
原创 Agile Web Development with Rails 4E 学习笔记3
Chapter 11. Task F. Add a Dash of Ajax6.1 使用partial重构Cart: partial(局部)模板简称:partials.可以在其他的模板或Controller中调用(呈现)这个局部模板. 那么在调用的地方,局部模板就可以呈现出数据. 你也可以传递参数给局部模板就像传递参数给方法一样来得到不同的呈现结果(传递了Coll...
2011-10-20 18:22:27
137
Agile Web Development with Rails 4E 学习笔记2
Agile Web Development with Rails 4E 学习笔记2=========zqhxuyuan@gmail.com 2011.10=========声明:本文根据英文电子版Rails3 4E 2011-03-29 重要的地方有中文注释.采用Notepad++编辑(语言:YAML),发布在ItEye上可能看起来不是很美观.PS:只是RoR新手(而且...
2011-10-19 12:39:34
132
Agile Web Development with Rails 4E 学习笔记1
Agile Web Development with Rails 4E 2011.03 ========zqhxuyuan@gmail.com 2011.10======== ===========================================Chapter6. Task A: Creating the Application1.1 创建Rails项...
2011-10-12 16:50:24
182
原创 工厂模式学习
以下是我学习尚学堂视频DRP项目关于工厂模式的总结,继续更新中...1.最原始的工厂模式:--业务逻辑无接口: drp_my1.5.3.41.Dao层接口public interface ItemDao { public void addItem(Connection conn,Item item);}2.Dao实现:public class ItemDao4M
2009-10-06 12:38:00
617
原创 Baidu_star试题java实现(2)
/*百度变态的另类游戏(组合问题)*autor: zqh 2009.3.*/import java.util.*;class Baidu_3{ public static void main(String[] args) { Scanner sc = new Scanner(System.in); System.out.println("输入数据: 输入的
2009-05-09 20:24:00
594
原创 Baidu_star试题java实现(1)
/*已知一个数求其连续正整数和.*autor : zqh 2009.3.13*/import java.util.*;class Baidu_1{ public static void main(String[] args) { Scanner sc = new Scanner(System.in); System.out.println("please i
2009-05-09 20:20:00
725
原创 redhat linux 9 about java's operation on VMware
VMware下redhat linux 9 about javas operation 2009.4.11 by zqh本文只是我在VMware下安装redhat linux9下的学习总结,有待更新中.仅供参考...1.首先来熟悉redhat命令行下的操作:-----------------安装好系统后,首先在终端下:ifconfig,检查是否有etho.即网卡(一般没设就没有).进入图形界
2009-05-09 20:12:00
771
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人