使用presto+airpal+hive打造即席查询工具

0X01 前言

即席查询怎么做、怎么选型！这次用的是presto来做尝试。

缘起

公司是Impala的深度用户，我主要负责Impala的各方面的工作，最近因为一些特殊原因需要对现有的体系进行一些调整，需要做出来即席查询的组件，在spark sql、impala、dril、impala之间做了一些调研后，暂时决定使用presto来做一些尝试。

原因有下面几个：

• 没有和cdh绑定那么深，用起来比较简单。
• 可以同时连mysql、hive等数据源，并且可以做join，这样就不用为了一些临时的需求导数据了。
• 需要为小组引入一些新的组件。
• 个人因素：好玩。

0X02 安装环境

presto需要的jdk版本是1.8。

• centos6.2（两台，一台coordinator，一台workers）
• jdk1.8
• presto-0.150（最新版，下载地址：presto-server-0.150.tar.gz）
• airpal（最新版）

0X03 安装记录

1.基本配置文件

etc/config.properties： presto的基本配置文件，分两种角色，coordinator和workers。两种角色的配置不同，其中coordinator有点类似master节点，workers类似于slave节点。

注意：discovery.uri需要配置成coordinator的host。

coordinator：

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=50GB
query.max-memory-per-node=1GB
discovery-se