监控
zhixingheyi_tian
Intel Big Data. Spark
展开
-
在influxdb上使用HOLT_WINTERS 对数据流量趋势进行预测和预警
需求:针对数据流量异常进行预警,常规的阈值、心跳很难满足要求。 因此有必要对未来测量数据进行预测和拟合分析。目前,influxdb 、kapacitor 自带的唯一的预测分析方法是holt_winters(三次指数平滑法,),能预测出季节性特点,正好满足需求。 经过研究,使用两个tick脚本,可实现流量异常预警。 第一tick脚本,使用influxdb内置HOLT_WINTERS预测函数,提前原创 2018-03-06 14:55:52 · 3999 阅读 · 0 评论 -
influxdb测量平台建设中,编写HTTPInfluxLineSource及HTTPSourceInfluxHandler
flume 是公司公用的平台,所有数据都经过flume,flume也是团队最主要的数据采集工具。 因此好多平台要和flume进行对接,比如我负责的测量平台。为此要开发相应的flume插件,本篇分享 flume source插件,用来接收 使用influxdb官方sdk产生的metrics数据。HTTPInfluxLineSource...原创 2018-05-26 18:12:43 · 520 阅读 · 0 评论 -
influxdb测量平台,编写flume InfluxSink 订阅kakfa相关数据到influxdb
influxdb 生态圈 自带采集数据工具 telegraf,telegraf集成了很多功能,包括订阅kafka数据,但是由于telegraf 订阅 kafka 性能太低,所以自定义开发了 flume sink插件,使得 订阅数据性能获得了极大提高。InfluxSink样例代码如下,以飨读者。package org.apache.flume.sink.influx;i...原创 2018-05-26 18:53:51 · 1577 阅读 · 3 评论 -
kafka采用http协议 report 出 influxline 格式的metrics测量数据
kafka 自带测量数据,为进行监控,将其测量数据采集并report出去,由于团队内部使用时序数据库 influxdb 作为测量数据库,所有吐出格式为 influxline,样例代码如下,以飨读者KafkaInfluxMetricsReporter/** * Licensed to the Apache Software Foundation (ASF) under one or...原创 2018-05-26 19:02:35 · 1255 阅读 · 0 评论