problems_hive

最新推荐文章于 2022-12-18 21:04:28 发布

「已注销」

最新推荐文章于 2022-12-18 21:04:28 发布

阅读量100

点赞数

分类专栏：大数据 # hive

本文链接：https://blog.csdn.net/zhangwei3583/article/details/119721682

版权

大数据同时被 2 个专栏收录

3 篇文章 0 订阅

订阅专栏

hive

2 篇文章 0 订阅

订阅专栏

本文主要列举了在使用Hive过程中遇到的三个问题及其解决办法：1)执行SQL时遇到路径无效的错误，通过关闭本地模式解决；2)创建自定义函数报错，可能由于jar包签名文件导致，可删除或打包时排除；3)Beeline连接Hive报错，需修改Hadoop配置文件。

摘要由CSDN通过智能技术生成

problems_hive

1 hive执行sql报错

desc：执行sql语句，join两个子查询
errorlog:

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
Caused by: java.lang.IllegalStateException: Invalid input path hdfs://node1:8020/user/hive/warehouse/weblog.db/ods_click_stream_visit/datestr=20181101/visit

action&solution:
检查发现日志中说无效的路径，其实是存在的。
检查发现hive本地模式开启了，尝试关闭本地模式 set hive.exec.mode.local.auto=false;
再次尝试，执行成功。

2 创建hive自定义函数报错

desc:
执行下面语句报错： add jar /develop/weblog/0210udf-1.0.jar;
create temporary function ua_parse as ‘com.study.udf.UAParseUDF’;
errorlog:

FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.FunctionTask. Invalid signature file digest for Manifest main attributes

solution:
方法1. 删除jar包中的META-INF/.RSA META-INF/.DSA META-INF/*.SF 文件：

zip -d 0210udf-1.0.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF

方法2. 打包时排除以上的需要被删除的文件：

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-shade-plugin</artifactId>
  <version>2.4.3</version>
  <executions>
    <execution>
      <phase>package</phase>
      <goals>
        <goal>shade</goal>
      </goals>
      <configuration>
        <minimizeJar>true</minimizeJar>
        <filters>
          <filter>
            <artifact>*:*</artifact>
            <excludes>
              <exclude>META-INF/*.SF</exclude>
              <exclude>META-INF/*.DSA</exclude>
              <exclude>META-INF/*.RSA</exclude>
            </excludes>
          </filter>
        </filters>
      </configuration>
    </execution>
  </executions>
</plugin>

3 beeline连接hive报错

errorlog:

java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): 
User root is not allowed to impersonate anonymous 错误。

solution: 修改hadoop 配置文件 .../etc/hadoop/core-site.xml,加入如下配置项

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>