一、hive交互shell,$HIVE_HOME/bin/hive
类似于linux的shell,比如mysql也有交互shell
二、shell命令,比如 $HIVE_HOME/bin/hive -e 'sql'
$HIVE_HOME/bin/hive -f filename
三、hive thrift服务
1、启动为前台$HIVE_HOME/bin/hiveserver2
2、启动为后台:nohup $HIVE_HOME/bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &
启动成功后,可以在别的节点上用beeline去连接
方式(1)
hive/bin/beeline 回车,进入beeline的命令界面
输入命令连接hiveserver2
beeline> !connect jdbc:hive2://hostname:10000
(hostname是hiveserver2所启动的那台主机名,端口默认是10000)
提示用户名 root 密码为空
用beeline连接的好处是输出结果会对齐
方式(2)
或者启动就连接:
bin/beeline -ujdbc:hive2://mini1:10000 -n hadoop
什么是thrift?这要从RPC框架说起
RPC框架包含四个部分:
1.通信模型(网络通信框架):假设通信的为A机器与B机器,A与B之间有通信模型,在Java中一般基于BIO或NIO;。
2.过程(服务)定位:使用给定的通信方式,与确定IP与端口及方法名称确定具体的过程或方法;
3.远程代理对象:本地调用的方法(服务)其实是远程方法的本地代理,因此可能需要一个远程代理对象,对于Java而言,远程代理对象可以使用Java的动态代理对象实现,封装了调用远程方法调用;
4.序列化协议,将对象名称、方法名称、参数等对象信息进行网络传输需要转换成二进制传输,这里可能需要不同的序列化技术方案。如:protobuf,Arvo等。
其中2.3两项可以概括为“调用控制协议”
完成RPC 需要两个协议,“序列化协议”和“调用控制协议”,还需要一个网络通信框架,而Netty就是一个网络通信框架。
常见例子举例:
1.zeroC ICE,拥有自己的网络通信框架 + ICE 调用控制协议和对象序列化协议,同时也涵盖了服务组件的抽象部署等功能。
2.thrift,有自己的网络通信框架+thrift 对象序列化协议+thrift 调用控制协议
3.probuff,只是 对象序列化协议
4.XMLRPC ,jsonRPC,常见的语境是利用HTTP协议作为调用控制协议,XML 和 JSON 作为对象序列化之后的格式。
5. Netty只是网络通信框架,目的是让你用最少的代码构建出足够支撑网络通信的功能,它是基于JAVA的NIO进行封装后的产品。
5、dubbo,基于netty的rpc框架。
6、hadoop中也有自己的rpc框架,比如spark中的rpc就是基于netty的。
Thrift是Facebook于2007年开发的跨语言的rpc服框架,提供多语言的编译功能,并提供多种服务器工作模式;用户通过Thrift的IDL(接口定义语言)来描述接口函数及数据类型,然后通过Thrift的编译环境生成各种语言类型的接口文件,用户可以根据自己的需要采用不同的语言开发客户端代码和服务器端代码。
nohup和&:
nohup是永久执行
&是指在后台运行
运行 nohup --help
Run COMMAND, ignoring hangup signals. 可以看到是“运行命令,忽略挂起信号”
就是指,用nohup运行命令可以使命令永久的执行下去,和用户终端没有关系,例如我们断开SSH连接都不会影响他的运行,注意了nohup没有后台运行的意思;&才是后台运行
&是指在后台运行,但当用户退出(挂起)的时候,命令自动也跟着退出
那么,我们可以巧妙的吧他们结合起来用就是
nohup COMMAND &
这样就能使命令永久的在后台执行
举个例子nohup tail -f nohup.out
然后退出登录,再连接,用ps -ef 你会还能看到在运行
ps -ef
root 3457 1 0 18:20 ? 00:00:00 tail -f nohup.out
另外,nohup执行后,会产生日志文件nohup.out,把命令的执行中的消息保存到这个文件中,一般在当前目录下,如果当前目录不可写,那么自动保存到执行这个命令的用户的home目录下,例如root的话就保存在/root/下
另外nohup $HIVE_HOME/bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &,此条命令中的1指的是标准输出,2指的是标准错误。如下为输出重定向详解。