storm
csgogogo_471
性别男,从事java软件开发;
展开
-
Storm集群模式下cleanup解决方法
背景 由于cleanup方法并不可靠,它只在local mode下生效,Storm集群模式下cleanup不会被调用执行。很多资源得不到释放 解决方案 在kill topology之前,先deactivate相应的topology。在spout中实现deactivate()方法,deactivate()方法中给bolt emit特殊的数据(如:emit “shutDow原创 2017-05-05 18:13:51 · 2127 阅读 · 0 评论 -
根据需求对LEK日志收集进行改进
LEK解释 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana。 利用Logstash对日志文件中日志进行收集,收集的数据存入Elasticsearch中,然后通过前端Kibana进入数据汇总、分析和展示。 问题 1、由于公司系统日志量太大,担心收集所有日志直接插入ES会承受不了。 2、由于公司系统需要把收集到的日志根据一个唯一编号进行关...原创 2019-01-04 11:30:38 · 353 阅读 · 0 评论