楔子
如果世界上有一种无语让你无力吐槽的话,那一定是Storm 的配置;如果世界上有一种诡异让你无所适从时,那一定是在配置Storm期间;如果有一种喜悦无以言表,那一定是Storm配置成功的快乐;如果有一种负重的感觉让你瞬间消散,那一定是Storm的成功启动。
只所以吐槽,是因为尼玛Storm 的配置真是太诡异了。不知道是不是因为水平的问题,反正觉得很不可理解。
1.安装zookeeper
因为Storm集群中各节点的感知是通过zookeeper的,所以storm 安装之前要安装zookeeper,先。
2. 根据官网的提示,我的安装配置如下:
storm.zookeeper.servers:
- "ubuntu1"
- "ubuntu2"
- "ubuntu3"
##--------------
storm.local.dir: "/mnt/storm"
##--------------------
nimbus.host: "ubuntu1"
##---------------------
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
storm.messaging.transport: "backtype.storm.messaging.netty.Context"
storm.messaging.netty.server_worker_threads: 1
storm.messaging.netty.client_worker_threads: 1
storm.messaging.netty.buffer_size: 5242880
storm.messaging.netty.max_retries: 100
storm.messaging.netty.max_wait_ms: 1000
storm.messaging.netty.min_wait_ms: 100<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);"> </span>
诡异的事情来了,这样的配置,居然还报错了,错误如下
Caused by: while parsing a block mapping
in 'reader', line 17, column 1:
storm.messaging.netty.server_wor ...
^
expected <block end>, but found BlockMappingStart
in 'reader', line 25, column 2:
storm.zookeeper.servers:
找了半个小时,网上找不到,后台通过校对。呵呵....呵呵....
原来配置信息要离左边界 一个 英文字符的空格。
然后重启,终于起起来了。
3.启动
master:
bin/storm nimbus & --> master进程
bin/storm ui &--> 开启网页查看工具
jps 一下:
core 是 web 监控进程,nimbus 是 master 主控进程
woker:
bin/storm supervisor & --> woker 进程
bin/storm logviewer & --> 日志观察
jps 一下
logviewer 是 日志查看进程,supervisor 是worker进程