twitter storm
昨日西风紧
被深痛一击过后, 人生不过如此
展开
-
Twitter Storm 里有神马
Twitter Storm twitter storm是twitter的流计算框架。本文简单的介绍该框架。 twitter主要包括4个东东 Nimbus 用户提交一个topology首先是提交给nimbus,nimbus对提交过来的topology开始分配任务,将任务信息写入到zookeeper中。这是主要的工作,还有其他的一些工作,比如定是清理一些jar包,目录什么的。 Supervi...原创 2012-05-08 09:59:47 · 97 阅读 · 0 评论 -
Twitter Storm中Topology的状态
2012-05-15 15:05:17 · 81 阅读 · 0 评论 -
Storm UI
Supervisors: storm集群中supervisor的数目 used slots: 使用了的slots数 free slots: 剩余的slots数 total slots: 总的slots数 Running tasks: 运行的任务数 b. topology summary Name: topology name id: topology id (由storm生成) status: topology的状态,包括(AC原创 2012-05-11 09:41:41 · 79 阅读 · 0 评论 -
Nimbus(一) 清理目录
gy: 这个中断指的是在本地目录/STORM_LOCAL_DIR/stormdist下存在,而在ZK目录下/storms/topologyid下不存在的topology的信息。 stormdist下存的是topology的一些jar包、配置文件等。这里只清除ZK目录下的不需要的topology的信息,需要删除的ZK的相关目录是/STORM_DIR/tasks/topologyid, /STORM_DIR/assignments/topologyid 2. nimbus还会间隔N原创 2012-05-11 09:08:03 · 144 阅读 · 0 评论 -
Twitter Storm 里有神马
原创 2012-05-08 09:59:47 · 72 阅读 · 0 评论 -
strom之nimbus
Storm Storm的主线主要包括4条:nimbus, supervisor, worker和task。 Nimbus 要了解nimbus的具体做的操作,可以从提交一个topology的流程开始。 1.1 Prepare Nimbus启动时候,运行了一个Thrift Server。它会在topology提交之前做以下四个工作。 (1) 清理一些中断了的topolo...2013-10-30 19:28:11 · 549 阅读 · 0 评论 -
Twitter Storm中Topology的状态
Twitter Storm中Topology的状态 状态转换如下,Topology 的持久化状态包括: active, inactive, killed, rebalancing 四个状态。 代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。 (defn state-transitions [nimbus storm-id status] {:...2012-05-15 15:05:17 · 130 阅读 · 0 评论 -
Storm UI
Storm UI 本文主要解释下storm ui上各项属性的含义。 1. mainpage 首页主要分为3块: a. Cluster Summary Nimbus uptime: nimbus的启动时间 Supervisors: storm集群中supervisor的数目 used slots: 使用了的slots数 ...原创 2012-05-11 09:41:41 · 250 阅读 · 0 评论 -
Nimbus(一) 清理目录
Nimbus(一) 清理目录 Nimbus启动的时候,其实是运行了一个thrift server,它会在topology提交之前,做一些清理一些东东. 什么东东? 1. 清理中断了的topology: 这个中断指的是在本地目录/STORM_LOCAL_DIR/stormdist下存在,而在ZK目录下/storms/topologyid下不存在的topology的信息。 stor...原创 2012-05-11 09:08:03 · 250 阅读 · 0 评论 -
strom之nimbus
动时候,运行了一个Thrift Server。它会在topology提交之前做以下四个工作。 (1) 清理一些中断了的topology(nimbus目录下/storm.local.dir/stormdist下存在,zk中 storms/topologyid中不存在的topology): 删除ZK上相关信息(清理tasks/topologyid; storms/topologyid; assignments/topologyid这个三个目录)。 (2) 将2013-10-30 19:28:11 · 190 阅读 · 0 评论