hive server日志配置

HiveServer2操作日志可用于Beeline客户端(Hive 0.14以上)。这些参数配置记录:

参数默认值描述
hive.server2.logging.operation.enabledtrue
添加于Hive 0.14.0,如果为true,HiveServer2将保存操作日志并使其可供客户端使用。
hive.server2.logging.operation.log.location${java.io.tmpdir}/${user.name}/operation_logs添加于Hive 0.14.0. 如果启用了日志记录功能,则存储操作日志的顶级目录。
hive.server2.logging.operation.verbose(Hive 0.14到1.1)false如果为true,则可用于客户端的HiveServer2操作日志将是详细的。 由hive.server2.logging.operation.level替换为Hive 1.2.0。
hive.server2.logging.operation.level(Hive 1.2以后)EXECUTION

HiveServer2操作日志记录模式可供客户端在会话级别设置。 为此,hive.server2.logging.operation.enabled应设置为true。 其允许的值为:
NONE:忽略任何日志记录。
EXECUTION:记录任务完成情况
PERFORMANCE: 执行+性能日志
VERBOSE:所有日志

可在控制台通过hive --hiveconf "hive.server2.logging.operation.level=none" 实现

另外job执行的dag信息,可通过hive.tez.exec.print.summary=false 关闭或者=true开启

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在Linux上配置Spark Hive,你需要执行以下步骤: 1. 将Spark纯净版的jar包上传到HDFS。使用以下命令: hdfs dfs -mkdir /spark-jars hdfs dfs -put /opt/spark/jars/* /spark-jars 这将在HDFS上创建一个目录并将Spark的jar包上传到该目录中。 2. 配置Hive环境变量。打开/etc/profile文件,并添加以下两行代码: export HIVE_HOME=/export/server/hive export PATH=$HIVE_HOME/bin:$PATH 这将设置Hive的安装目录并将其添加到系统的环境变量中。 3. 启动Hive的metastore服务。使用以下命令: nohup hive --service metastore 2>&1 > /tmp/hive-metastore.log & 这将在后台启动Hive的metastore服务,并将日志输出到/tmp/hive-metastore.log文件中。 4. 配置Spark与Hive的连接。在spark/conf/目录下创建一个hive-site.xml文件,并将以下内容添加到文件中: <!-- 默认数仓的路径 --> <!-- spark保存数据的路径的配置名叫spark.sql.warehouse.dir 如果SparkSQL找到了hive.metastore.warehouse.dir,那么 就用hive.metastore.warehouse.dir的值作为 spark.sql.warehouse.dir 如果找不到hive.metastore.warehouse.dir配置,就用默认的路径名 /root/spark-warehouse/ --> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> <name>hive.metastore.uris</name> <value>thrift://node1:9083</value> </property> 这将配置Hive的元数据仓库目录和连接信息,使Spark能够与Hive进行交互。 5. 修改hive-site.xml文件,添加Spark依赖位置和Hive执行引擎配置。将以下内容添加到hive-site.xml文件中: <!--Spark 依赖位置(注意:端口号必须和namenode的端口号一致)--> <property> <name>spark.yarn.jars</name> <!--<value>hdfs://hadoop:8020/spark-jars/*</value>--> <value>hdfs://hadoop:9000/spark-jars/*</value> </property> <!--Hive 执行引擎--> <property> <name>hive.execution.engine</name> <value>spark</value> </property> <!--Hive 和 Spark 连接超时时间--> <property> <name>hive.spark.client.connect.timeout</name> <value>10000ms</value> </property> 这将配置Spark的依赖位置以及设置Hive使用Spark作为执行引擎的参数。 以上是在Linux上配置Spark Hive的步骤。请根据你的实际情况进行相应的配置。<span class="em">1</span><span class="em">2</span><span class="em">3</span>

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值