Storm
jast_zsh
这个作者很懒,什么都没留下…
展开
-
Storm 本地运行报错java.lang.ClassNotFoundException: org.apache.curator.shaded.com.google.common.cache.Cach
java.lang.NoClassDefFoundError: org/apache/curator/shaded/com/google/common/cache/CacheBuilder at org.apache.curator.framework.imps.NamespaceWatcherMap.<init>(NamespaceWatcherMap.java:31) at ...原创 2019-10-16 17:27:01 · 5436 阅读 · 0 评论 -
Storm性能简单测试
看了很多关于Storm性能的文章,说法不一,自己根据实际业务测一下是否能满足自身要求(只做了简单集群和代码调优)场景:kafka消费数据标准化后存储到Hbase中 服务器资源: 两台32G内存做Supervisor使用资源平均处理数据速度 13000 条/秒,可以满足业务需求,ok Storm参数 conf.setNumWorkers...原创 2018-10-11 19:25:43 · 10305 阅读 · 0 评论 -
Storm 安装
下载地址:http://storm.apache.org/下载完成后解压到相应目录修改 conf目录下的storm.yaml文件,集群的所有服务器统一配置#zookeeper地址,默认端口2181storm.zookeeper.servers: - "test1" - "test2" - "test3"#nimbus服务器nimbus.seeds:...原创 2018-10-10 19:13:20 · 21166 阅读 · 0 评论 -
Storm tick 功能
1. tick的功能Apache Storm中内置了一种定时机制——tick,它能够让任何bolt的所有task每隔一段时间(精确到秒级,用户可以自定义)收到一个来自__systemd的__tick stream的tick tuple,bolt收到这样的tuple后可以根据业务需求完成相应的处理。2017-06-20 14:39:08.100 STDIO [INFO] 我是定时执行任务p...原创 2018-12-28 08:59:46 · 20931 阅读 · 0 评论 -
Storm消费Kafka异常 - topic其中两个分区达到某个值不进行消费,持续阻塞
Kafka消费storm,突然有两个分区无法消费数据(或重复消费无法提交offset)offset是我们自己进行管理,kafka日志也是正常没有报错,storm日志也是没有报错~ 就是卡住了1.尝试将partition为0,1的offset记录删除,重新跑一遍,结果还是到那个offset处卡住2.再次尝试手动修改offset跳过卡住的那一条数据(这种做法会丢失一条数据,在数据不允许...原创 2019-01-15 16:01:18 · 2558 阅读 · 0 评论