FW:分布式实时计算storm 原理…

http://my.oschina.net/leejun2005/blog/147607?from=20130804

10、单机版安装指南

环境：centos 6.4

安装步骤请参考：http://blog.sina.com.cn/s/blog_546abd9f0101cce8.html

要注意上面的本地模式运行WordCount其实并没有使用到上述安装的工具，只是一个storm的虚拟环境下测试demo。那我们怎样将程序运行在刚刚搭建的单机版的环境里面呢，
很简单，官方的例子：
注意看官方实例中WordCountTopology类如果不带参数其实是执行的本地模式，也就是刚说的虚拟的环境，带上参数就是将jar发送到了storm执行了。
首先弄好环境：
启动zookeeper：
/usr/local/zookeeper/bin/zkServer.sh  单机版直接启动，不用修改什么配置，如集群就需要修改zoo.cfg另一篇文章会讲到。
配置storm：
文件在/usr/local/storm/conf/storm.yaml
内容：
 storm.zookeeper.servers:
     - 127.0.0.1
 storm.zookeeper.port: 2181
 nimbus.host: "127.0.0.1"
 storm.local.dir: "/tmp/storm"
 supervisor.slots.ports:
  - 6700
  - 6701
  - 6702
  - 6703
这个脚本文件写的不咋地，所以在配置时一定注意在每一项的开始时要加空格，冒号后也必须要加空格，否则storm就不认识这个配置文件了。
说明一下：storm.local.dir表示storm需要用到的本地目录。nimbus.host表示那一台机器是master机器，即nimbus。storm.zookeeper.servers表示哪几台机器是zookeeper服务器。storm.zookeeper.port表示zookeeper的端口号，这里一定要与zookeeper配置的端口号一致，否则会出现通信错误，切记切记。当然你也可以配superevisor.slot.port，supervisor.slots.ports表示supervisor节点的槽数，就是最多能跑几个worker进程（每个sprout或bolt默认只启动一个worker，但是可以通过conf修改成多个）。
执行：
# bin/storm nimbus（启动主节点）
# bin/storm supervisor（启动从节点）
执行命令：# storm jar StormStarter.jar storm.starter.WordCountTopology test
此命令的作用就是用storm将jar发送给storm去执行，后面的test是定义的toplogy名称。
搞定，任务就发送到storm上运行起来了，还可以通过命令：
# bin/storm ui

然后执行 jps 会看到 3 个进程：zookeeper 、nimbus、 supervisor
启动ui，可以通过浏览器， ip:8080/ 查看运行i情况。
配置后，执行 storm  jar sm.jar main.java.TopologyMain words.txt

也许会报：java.lang.NoClassDefFoundError: clojure.core.protocols$seq_reduce

这是由于我使用了 oracle JDK 1.7 的缘故，换成 open JDK 1.6 就正常了，

 

1	su -c "yum install java-1.6.0-openjdk-devel"

具体参考：https://github.com/technomancy/leiningen/issues/676

测试代码：

https://github.com/storm-book/examples-ch02-getting_started

运行结果：

storm  jar sm.jar main.java.TopologyMain words.txt 

02

...

6020 [main] INFO  backtype.storm.messaging.loader  - Shutdown receiving-thread: [Getting-Started-Toplogie-1-1374946750, 4]

6020 [main] INFO  backtype.storm.daemon.worker  - Shut down receive thread

6020 [main] INFO  backtype.storm.daemon.worker  - Terminating zmq context

6020 [main] INFO  backtype.storm.daemon.worker  - Shutting down executors

OK:is

6021 [main] INFO  backtype.storm.daemon.executor  - Shutting down executor word-counter:[2 2]

OK:an

OK:storm

OK:simple

6023 [Thread-16] INFO  backtype.storm.util  - Async loop interrupted!

OK:application

OK:but

OK:very

OK:powerfull

OK:really

OK:

OK:StOrm

OK:is

OK:great

6038 [Thread-15] INFO  backtype.storm.util  - Async loop interrupted!

-- Word Counter [word-counter-2] --

really: 1

but: 1

application: 1

is: 2

great: 2

are: 1

test: 1

simple: 1

an: 1

powerfull: 1

storm: 3

very: 1

6043 [main] INFO  backtype.storm.daemon.executor  - Shut down executor word-counter:[2 2]

6044 [main] INFO  backtype.storm.daemon.executor  - Shutting down executor word-normalizer:[3 3]

6045 [Thread-18] INFO  backtype.storm.util  - Async loop interrupted!

6052 [Thread-17] INFO  backtype.storm.util  - Async loop interrupted!

6056 [main] INFO  backtype.storm.daemon.executor  - Shut down executor word-normalizer:[3 3]

6056 [main] INFO  backtype.storm.daemon.executor  - Shutting down executor word-reader:[4 4]

6058 [Thread-19] INFO  backtype.storm.util  - Async loop interrupted!

...

其它参考地址：

https://github.com/philipgao/storm-demo

http://tianhailong.com/本地模式运行storm的demo.html/运行日志

http://blog.sina.com.cn/s/blog_8ae7b3fe010124mr.html

分布式安装指南： http://hitina.lofter.com/post/a8c5e_136579#

storm wiki 教程:  http://xumingming.sinaapp.com/138/twitter-storm入门/