宙斯 安装部署

http://central.maven.org/maven2/com/google/guava/guava/18.0/guava-18.0.jar  版本太老

HADOOP_CONF_DIR

1. 一定要在linux  设置hadoop hive 环境变量，否则找不到配置文件，执行时候还报错没有执行权限，这个错误很容易误导人。

2. 拷贝 hadoop2.5.2 jar 到 工程lib下面（hadoop-core 在2x版本已经不存在了）。

guava-18.0.jar

hadoop-auth-2.5.2.jar

hadoop-client-2.5.2.jar 

hadoop-common-2.5.2.jar

hadoop-hdfs-2.5.2.jar 

hadoop-mapreduce-client-hs-2.5.2.jar

hadoop-mapreduce-client-app-2.5.2.jar  

hadoop-mapreduce-client-common-2.5.2.jar

 hadoop-mapreduce-client-core-2.5.2.jar

hadoop-mapreduce-client-hs-2.5.2.jar

hadoop-mapreduce-client-hs-plugins-2.5.2.jar

hadoop-mapreduce-client-jobclient-2.5.2.jar 

hadoop-mapreduce-client-jobclient-2.5.2-tests.jar

 hadoop-mapreduce-client-shuffle-2.5.2.jar

hadoop-mapreduce-examples-2.5.2.jar

protobuf-java-2.5.0.jar

3.修改核心类，xxxxbase 那个类

Protocol 内部类继承自定义BaseeneratedMessage（2.5,2.3  protobuf差异太大）

class BaseeneratedMessage extends com.google.protobuf.GeneratedMessage

4. 却少protobuf cahce包。

5. 替换2.3版本的protobuf-java 到2.5版本

6.要特别注意配置上传路径等等，很容易遇到权限问题，（宙斯是将上次的资源放到hdfs的）

7. 要注意配置 hive 远程模式，启动metasote服务（hive-site.xml 配置）

<property>  

  <name>hive.metastore.uris</name>  

  <value>thrift://taonongyuan.com:9083</value>  

</property>  

</configuration>

8.防止遇到 file:///异常要在core-site.xml配置(貌似不需要，如果有问题可以配置看看)

<property>

<name>fs.hdfs.impl</name>

<value>org.apache.hadoop.fs.LocalFileSystem.class.getName</value>

<description>The FileSystem for hdfs: uris.</description>

</property>

</configuration>

9. web.xml 配置也容易忘记：

  <context-param>

                <param-name>hdfsLibPath</param-name>

                <param-value>/user/hive/zesu_upload</param-value>

        </context-param>

 

http://central.maven.org/maven2/com/google/protobuf/protobuf-java/2.6.0/protobuf-java-2.5.0.jar


fs.file.impl=org.apache.hadoop.fs.LocalFileSystem.class.getName


Server IPC version 9 cannot communicate with client version 4


2.x系列已经没有hadoop-core的jar包了，变成一个个散的了，像下面这样


http://taonongyuan.com:8080/partition_download.do?path=hdfs://h001:9000/user/hive/warehouse/test_d&table=test_d HTTP/1.1


http://taonongyuan.com:8080/zeus_platform/table.rpc


必须设置 hive hadoop 环境变量




    private UnknownFieldSet unknownFields =
        UnknownFieldSet.getDefaultInstance();