![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
presto
文章平均质量分 51
9随遇而安
这个作者很懒,什么都没留下…
展开
-
Trino安装
一、安装配置官网下载包https://trino.io/download.html注意presto对jdk等版本有要求,具体看官方文档上对应要求,目前最新版为359,要求如下:1、jdk11.0.11到12版本之间2、python2.6.x, 2.7.x, or 3.x#解压,解压路径为/usr/install/trino-server-359tar -zxvf trino-server-359.tar.gz#进入trino-server-359 创建etc...原创 2021-07-12 18:10:01 · 5958 阅读 · 3 评论 -
Presto error executing query
早上的时候同事找,说presto查询报error executing query。第一反应是presto集群和presto-jdbc包版本不一致,后续确认一致后,做了以下排除。1、服务器端ping presto机器ip是否通2、telnet presto端口是否通3、jdbc是否设置超时时间4、presto是否设置超时参数(1)确认/presto/etc/config.properties文件下是否有query.max-execution-time、query.max-run-time之原创 2021-07-06 18:22:43 · 3050 阅读 · 0 评论 -
Presto查询优化(数据分析)
用户:1、大表查询将数据拆分(表数据非实时)(1)如公司内部有人直接上亿甚至几十亿条数据的表(或者几百TB级别的表)直接进行报表制作,这种情况,建议搞个定时任务,每天把要统计的数据放到小表里去,报表制作只查小表。(2)报表数据来自表某个为json的大字段,用户直接用json解析函数获取,这种情况也建议将字段拆分平铺成一张表在进行解析。2、Hive表小文件比较多,导致查询慢。把hive表文件合并性能会大大提高。3、优化sql。系统:1、提供缓存设置,诸如T+1的数据,用户可以设原创 2021-07-06 15:06:37 · 2606 阅读 · 0 评论 -
presto安装注意的一些事项
1、启动presto的时候报如下错误:$ ./launcher runUnrecognized VM option 'ExitOnOutOfMemoryError'Did you mean 'OnOutOfMemoryError=<value>'?Error: Could not create the Java Virtual Machine.Error: A fatal exception has occurred. Program will exit.原因是在presto原创 2020-12-22 21:59:43 · 637 阅读 · 0 评论 -
presto集群内存报警
下午的时候线上机器忽然内存告警,登录机器看了下显示presto进程占用内存特别高按照以往的经验,一般是系统出现某个查询所需内存特别大导致机器报警。然而,登上presto webui界面查询,并无大数据量的查询,也无长时间的超时,甚至那会都没几个用户用presto查询数据。ps了下进程获取到presto日志路径,查看后发现节点已经挂了,但是进程还在。造成该现象的原因还没找到,但最后解决办法是把该节点重启了下,机器内存使用率回复正常。此外,在presto/etc/confi.原创 2020-09-22 18:13:00 · 766 阅读 · 3 评论 -
presto java.sql.SQLException: Query failed (#20200901_101014_02189_aqhvn): io.prestosql.spi.type.Sho
有同事在查询hive数据的时候报如下错误:最初感觉是类型匹配的问题,但校验了下表字段类型没找到问题,最后重启了presto再次查询,问题没再出现了。再次跟同事确认了下,之前那张表是否删除后又重建过,得到确定回答,确定了原因。之前为了提高表查询性能,在/etc/catalog/hive.properties配置了了如下参数:hive.metastore-cache-ttl=1hhive.metastore-refresh-interval=1h表原始元数据缓存一小时,同事之前创建了表,某原创 2020-09-01 21:01:45 · 4387 阅读 · 0 评论