spark如何开启HTTP模式

1. HDFS配置:

            hadoop.proxyuser.HTTP.groups=*

            hadoop.proxyuser.knox.groups=*

            hadoop.proxyuser.knox.hosts=*

2.  Spark中:hive.server2.transport.mode   binary修改为http

3. Hive中:hive.server2.thrift.http.path=cliservice

4.  Spark中:

    自定义spark2-hive-site-override:

            hive.server2.allow.user.substitution=true

            hive.server2.authentication.kerberos.keytab=/etc/security/keytabs/spnego.service.keytab

            hive.server2.authentication.kerberos.principal=HTTP/_HOST@INDATA.COM

            hive.server2.authentication.spnego.keytab=/etc/security/keytabs/spnego.service.keytab

            hive.server2.authentication.spnego.principal=HTTP/_HOST@INDATA.COM

5. 起服务:

        /usr/hdp/2.6.1.0-129/spark2/sbin/start-thriftserver.sh  --master yarn --deploy-mode client --queuedefault --hiveconf hive.server2.thrift.http.port=10088 --keytab/etc/security/keytabs/hive.service.keytab --principalhive/indata-10-110-13-42.indata.com@INDATA.COM

6. 连接测试:

1. 初始化kerberos票据

        kinit -kt spnego.service.keytabHTTP/indata-10-110-13-45.indata.com@INDATA.COM

2. beeline链接:

        !connect jdbc:hive2://indata-10-110-13-42.indata.com:10088/default;principal=HTTP/indata-10-110-13-42.indata.com@INDATA.COM?hive.server2.transport.mode=http;hive.server2.thrift.http.path=cliservice;

3. 成功连接:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值