presto指标监控

最新推荐文章于 2024-08-13 16:44:01 发布
最新推荐文章于 2024-08-13 16:44:01 发布
阅读量4.7k 收藏 9
点赞数
分类专栏： 大数据开发 文章标签： presto sql 内存 监控 原理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhou12314/article/details/102945286
版权
本文旨在通过分析Presto的指标，构建一个监控平台，涵盖基本信息监控、性能查询和异常预警。介绍了几个关键接口，如集群状态、内存和查询相关接口。
摘要由CSDN通过智能技术生成

概述

因为presto自带的web-ui界面局限性比较多，所以最近准备通过分析presto的相关指标来搭建一个presto的监控平台。主要用于presto基本信息的监控，性能信息的查询，异常预警。所以该篇及接下来的这几篇文章主要针对presto的相关指标及原理进行分析。

presto相关指标说明

接口

http://127.0.0.1:8888/v1/cluster
集群状态相关 

 1{
 2    "runningQueries": 0,               // 等待查询个数
 3    "blockedQueries": 0,
 4    "queuedQueries": 0,               //排队查询个数
 5    "activeWorkers": 4,               //当前存活工作节点
 6    "runningDrivers": 0,              //当前运行driver个数
 7    "reservedMemory": 0.0,            //当前使用保留内存大熊啊
 8    "totalInputRows": 3992141,        //当前读入数据的总行数
 9    "totalInputBytes": 1212470296,    //当前读入数据的总大小
10    "totalCpuTimeSecs": 56202         //cpu运行时间
11}

http://127.0.0.1:8888/v1/cluster/memory
集群内存相关

 1{
 2    "reserved": {
 3        "maxBytes": 268005959268, //
最低0.47元/天 解锁文章
Python实现Presto节点状态监控
杨鑫newlife的专栏
12-13 1160
# -*- coding:utf-8 -*- __author__ = 'yangxin_ryan' from util.request_client import RequestClient from util.func_brain.time_func import TimeFunc from util.monitor import Monitor import json class Pr...
大数据Presto（一）：Presto介绍
Lansonli（蓝深李）的博客
10-06 1693
一、​​​​​​​​​​​​​​Presto出现背景Presto是Facebook在2012年开发的，是专为Hadoop打造的一款数据仓库工具。在早期Facebook依赖Hive做数据分析，Hive底层依赖MapReduce，随着数据量越来越大，使用Hive进行数据分析，时间可能需要分钟级到小时级别，不能满足交互式查询的数据分析场景。2012年秋季，Facebook开发Presto，目前该项目在Facebook中运行超过30000个查询，每日处理数据PB以上。Presto的查询速度是Hive的5-10倍。
监控presto程序进程
An342647823的专栏
12-17 1053
#!/bin/bash ps -ef|grep  -v grep|grep presto >/dev/null 2>&1 if [ $? -eq 0 ] then   echo "yes-->$(date "+%Y-%m-%d-%H-%M")"  >> check_presto_yes.log else   echo "no-->$(date "
Presto监控和配置：配置
eagooqi的专栏
12-10 1165
Web UI 　　Query基本状态的查询 JMX HTTP API 　　GET /v1/jmx/mbean[/{objectName}] 　　　　• com.facebook.presto.execution:name=TaskManager 　　　　• com.facebook.presto.execution:name=QueryManager 　　　　• com.facebook.presto.execution:name=NodeScheduler 事件通知 　　Event Listener
presto 系统连接器中各种监控指标很有用
河南骏的博客
11-28 3006
System Connector The System connector provides information and metrics about the currently running Presto cluster. It makes this available via normal SQL queries. Configuration The System conne
zabbix监控presto状态
fly0512的博客
07-03 807
zabbix监控presto，通过prestocli命令行工具，查询presto的系统运行记录表system.runtime.queries，配置如下： cd /etc/zabbix/zabbix_agent.d vi current_mater_status.conf UserParameter=mater.status[*],/etc/zabbix/zabbix_agentd.d/curre...
[presto] 监控相关指标
zengccc的专栏
06-30 101
集群相关： http://ip:port/v1/cluster {"runningQueries": 0, "blockedQueries": 0, "queuedQueries": 0, "activeCoordinators": 1, "activeWorkers": 5, "runningDrivers": 0, "totalAvailableProcessors": 40, ...
【presto】监控presto打开文件描述符脚本
Mrerlou的博客
09-15 342
前言 最近在维护presto集群，集群运行一段时间后，会有部分节点打开的文件描述符超出linux的限制。有的人想到会去增加进程打开文件数的限制。 但根据我的排查，这个原因一般是在presto 服务OOM后发生的，此时服务虽然没有挂掉，但其实已经处于不稳定的状态了。很容易让任务挂掉。 于是决定监控下presto的打开文件描述符，经过观察，公司的presto集群通常打开的文件描述符是在1万5一下。遂将监控报警阈值调整为2万。 一、脚本内容 #!/bin/bash # presto_file_descripto
[32] Presto存活监控脚本
hjw199089的博客
07-02 978
一、服务存活监控脚本 建立服务存活监控脚本/usr/local/presto/mointer-presto-restart.sh，chomd +x ./mointer-presto-restart.sh，脚本每20s循环检测PrestoServer进程，若进程挂掉，自动拉起并在/usr/local/presto/log.txt中打点记录本次重启时间。 #!/bin/bash interval=20...
Presto进程管理实现监控&宕机重启
杨鑫newlife的专栏
12-09 1288
方案一： #!/bin/bash . /etc/profile check() { ip_addr=$(ifconfig -a|grep -o -e 'inet addr:[0-9]\{1,3\}.[0-9]\{1,3\}.[0-9]\{1,3\}.[0-9]\{1,3\}'|grep -v "127.0.0"|awk '{print $2}') # 报警通知 ip_addr Pres...
[jmx]zookeeper/kafka/hive/hadoop/presto/presto等组件的jmx监控汇集
MyNameIsWangYi的博客
08-05 1775
jmx的jar包是：jmx_prometheus_javaagent-0.16.0.jar 或 jmx_prometheus_javaagent-0.15.0.jar。项目借用jmx监控，也调研了一些时间，那就记个笔记吧，有些之前整理过，直接上链接了~ 都测试过了，均可使用。修改配置文件promtail.yaml：http_listen_port: 9080。修改配置文件loki.yaml：http_listen_port: 3100。，通过curl http://ip:port可以进行访问的。......
presto 0.166概述
weixin_30740581的博客
06-21 699
presto是什么 是Facebook开源的，完全基于内存的并⾏计算，分布式SQL交互式查询引擎 是一种Massively parallel processing (MPP)架构，多个节点管道式执⾏ ⽀持任意数据源（通过扩展式Connector组件），数据规模GB~PB级 使用的技术，如向量计算，动态编译执⾏计划，优化的ORC和Parquet Reader等 presto不太支持存储过程...
95-270-019-源码-指标监测-常用监控指标
九师兄
07-01 607
【代码】95-270-019-源码-指标监测-常用监控指标。
presto集群内存报警
记录
09-22 1028
下午的时候线上机器忽然内存告警，登录机器看了下显示presto进程占用内存特别高 按照以往的经验，一般是系统出现某个查询所需内存特别大导致机器报警。 然而，登上presto webui界面查询，并无大数据量的查询，也无长时间的超时，甚至那会都没几个用户用presto查询数据。 ps了下进程获取到presto日志路径，查看后发现节点已经挂了，但是进程还在。 造成该现象的原因还没找到，但最后解决办法是把该节点重启了下，机器内存使用率回复正常。 此外，在presto/etc/confi.
Prometheus 监控指标采集
最新发布
Korbin的博客
08-13 2702
在现代分布式系统和云原生环境中，为了确保复杂的分布式系统和服务的高可用性、可靠性和性能，通常采用实时可视化监控和分析，实现故障快速响应、资源优化和安全保障，从而提升用户满意度和运营效率。在目前主流的解决方案中，Prometheus和Grafana是两个使用 Go 开发的强大开源工具，通常一起使用来实现全面的监控和可视化系统。其中Prometheus负责采集和存储监控对象的时序数据。
Presto的介绍、使用和原理架构
迷雾总会解
06-15 9386
Presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。Presto 本身并不存储数据，，但是可以接入多种数据源，并且支持跨数据源的级联查询，而且基于内存运算，速度很快，实时性高。注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的代替品，也不能用来处理在线事务 (OLTP)。适合：PB级海量数据复杂分析，交互式SQL。
Presto简介、部署、原理和使用介绍
wt334502157的博客
02-28 8882
​ Presto是由Facebook开发的一款开源的分布式SQL查询引擎，最初于2012年发布，并在2013年成为Apache项目的一部分；Presto 作为现在在企业中流行使用的即席查询框架，已经在不同的领域得到了越来越多的应用。Presto官方网站：https://prestosql.io/​ Presto被广泛用作即席查询引擎，用户可以使用标准的SQL语句向Presto提交查询，并且能够在几秒钟或更短的时间内获取结果。
大数据Presto（三）：Presto Connector连接器
Lansonli（蓝深李）的博客
11-12 1311
注意：以上mydb是指定的schema信息，需要配置读取Kafka数据的json配置文件，在Kafka中的数据一般是json格式，producer向Kafka中生产的数据有可能含有key，有可能没有key,使用presto查询Kafka中的数据，需要将Kafka中的数据映射到表字段上，那么presto读取Kafka数据时就需要有一个配置文件来配置这些内容。并且需要重启Presto才能正常访问Kafka中的数据。t1.json，映射“presto-topic1”中的用户数据，生产数据有key。
Presto内存原理（已经过时，但可以参考）
见端而知末
02-26 653
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析。Presto以分析师的需求作为目标，他们期望响应时间小于1秒到几分钟。 Presto终结了数据分析的两难选择，要么使用速度快的昂贵的商业方...
presto execution_time指标
06-07
Presto 的 execution_time 指标是指查询执行的总时间。它包括了 Presto 从客户端接收查询请求到返回...在 Presto 中，可以使用 Presto 的内置性能指标系统，例如 JMX 或者 Prometheus 等来监控 execution_time 指标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值