Spark1.5.2使用过程中遇到的两个bug

      1.ERROR YarnScheduler: Lost executor 5 on 10-149-11-4:remote Rpc client disassociated

类似这种错误，是spark on yarn当前版本的bug。由于启用了动态分配以及回收资源，当正确的回收资源后，会报出这个错误。

这个错误不会影响集群以及计算任务的结果。

Jira地址：https://issues.apache.org/jira/browse/SPARK-4134

      2.Spark的hiveserver2，不能add jar创建自定义的udf，udaf等。

Jira地址：https://issues.apache.org/jira/browse/SPARK-11191?jql=project%20%3D%20SPARK%20AND%20affectedVersion%20in%20%281.5.0%2C%201.5.1%2C%201.5.2%29%20AND%20text%20~%20%22beeline%20add%20jar%22

 

解决办法：打算升级到spark1.6.1，修复了这些bug。