prometheus + pushgateway + grafana 监控 Flink

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

---

配置 prometheus、pushgateway 监控 Flink metrics指标

prometheus + pushgateway + grafana 监控 Flink

prometheus + pushgateway + grafana 监控 Flink on Yarn

---

1.grafana下载
	https://grafana.com/grafana/download
	https://dl.grafana.com/oss/release/grafana-7.1.0.linux-amd64.tar.gz

2.安装 grafana
	tar zxvf grafana-7.1.0.linux-amd64.tar.gz
	mv grafana-7.1.0 grafana
	cd /root/grafana

3.启动 grafana
	cd /root/grafana/bin
	./grafana-server &（用了&之后即启动了之后再按一次回车就可以退出打印台）
	ps aux|grep grafana-server

4.登录 grafana
	http://node1:3000 使用默认用户名密码（admin/admin）

---

prometheus + pushgateway

当prometheus的server与target不在同一网段网络不通，无法直接拉取target数据，需要使用pushgateway作为数据中转点。
flink metric数据流转的流程是 flink metric -> pushgateway -> prometheus。
pushgateway 和 prometheus 都装到同一台机器node1节点上。
Prometheus+PushGateway安装配置
	为什么还要使用PushGateway呢？从上面的图可以发现，Prometheus在正常情况下是采用拉模式从产生metric的作业或者exporter（比如专门监控主机的NodeExporter）拉取监控数据。
	但是我们要监控的是Flink on YARN作业，想要让Prometheus自动发现作业的提交、结束以及自动拉取数据显然是比较困难的。
	PushGateway就是一个中转组件，通过配置Flink on YARN作业将metric推到PushGateway，Prometheus再从PushGateway拉取就可以了。

1.prometheus 和 pushgateway 都是同一个网站下载：https://prometheus.io/download/

2.把 /root/flink/opt （Flink目录下的opt）下的 flink-metrics-prometheus-1.10.1.jar 拷贝一份到 /root/flink/lib（Flink目录下的lib）
	cp /root/flink/opt/flink-metrics-prometheus-1.10.1.jar /root/flink/lib

3.配置 /root/flink/conf/flink-conf.yaml
	官网解释：https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/monitoring/metrics.html
	flink会把一些metric push到pushgateway的9091端口上，然后prometheus采集。

	vim /root/flink/conf/flink-conf.yaml
		metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
		metrics.reporter.promgateway.host: node1
		metrics.reporter.promgateway.port: 9091
		metrics.reporter.promgateway.jobName: myJob
		metrics.reporter.promgateway.randomJobNameSuffix: true
		metrics.reporter.promgateway.deleteOnShutdown: false
		metrics.reporter.promgateway.groupingKey: k1=v1;k2=v2
		metrics.reporter.promgateway.interval: 1 SECONDS

4.配置 prometheus
	tar zxvf prometheus-2.20.0-rc.0.linux-amd64.tar.gz
	mv prometheus-2.20.0-rc.0.linux-amd64 prometheus
	vim /root/prometheus/prometheus.yml

scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'
    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    static_configs:
    - targets: ['node1:9090']
  
  - job_name: 'pushgateway'
    scrape_interval: 1s
    static_configs:
    - targets: ['node1:9091']
      labels:
        instance: 'pushgateway'

5.安装 pushgateway
	tar zxvf pushgateway-1.2.0.linux-amd64.tar.gz	
	mv pushgateway-1.2.0.linux-amd64 pushgateway

6.启动 flink集群
	cd /root/flink/bin
	./start-cluster.sh
	./stop-cluster.sh
	http://node1:8081 打开UI界面

7.启动 pushgateway
	cd /root/pushgateway
	./pushgateway &（用了&之后即启动了之后再按一次回车就可以退出打印台）
	http://node1:9091 打开UI界面
	ps aux|grep pushgateway 

8.启动 prometheus 
	cd /root/prometheus
	./prometheus --config.file=prometheus.yml &（用了&之后即启动了之后再按一次回车就可以退出打印台）
	http://node1:9090 打开UI界面
	ps aux|grep prometheus