elasticsearch 后集群状态下 聚合时 类型转换错误 原因及分析

先来看下错误

前端错误

1. 两层聚类时，外面一层返回的key是乱码，这个乱码并不是编码问题，而是根本没有对第二层的聚类分类。第一层里面的数据全部都是一样的。
2. 直接报错，500或者503，类型转换错误或者解析异常。

后台错误：

[2015-11-30 11:06:56,105][DEBUG][action.search.type       ] [local] failed to reduce search
org.elasticsearch.action.search.ReduceSearchPhaseException: Failed to execute phase [fetch], [reduce] 
        at org.elasticsearch.action.search.type.TransportSearchQueryThenFetchAction$AsyncAction$2.onFailure(TransportSearchQueryThenFetchAction.java:159)
        at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:41)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.ClassCastException: org.elasticsearch.search.aggregations.bucket.terms.LongTerms$Bucket cannot be cast to org.elasticsearch.search.aggregations.bucket.terms.StringTerms$Bucket
        at org.elasticsearch.search.aggregations.bucket.terms.StringTerms$Bucket.compareTerm(StringTerms.java:85)
        at org.elasticsearch.search.aggregations.bucket.terms.InternalOrder$4.compare(InternalOrder.java:87)
        at org.elasticsearch.search.aggregations.bucket.terms.InternalOrder$4.compare(InternalOrder.java:83)
        at org.elasticsearch.search.aggregations.bucket.terms.InternalOrder$CompoundOrder$CompoundOrderComparator.compare(InternalOrder.java:284)
        at org.elasticsearch.search.aggregations.bucket.terms.InternalOrder$CompoundOrder$CompoundOrderComparator.compare(InternalOrder.java:270)
        at org.elasticsearch.search.aggregations.bucket.terms.support.BucketPriorityQueue.lessThan(BucketPriorityQueue.java:37)
        at org.elasticsearch.search.aggregations.bucket.terms.support.BucketPriorityQueue.lessThan(BucketPriorityQueue.java:26)
        at org.apache.lucene.util.PriorityQueue.insertWithOverflow(PriorityQueue.java:151)
        at org.elasticsearch.search.aggregations.bucket.terms.InternalTerms.reduce(InternalTerms.java:195)
        at org.elasticsearch.search.aggregations.InternalAggregations.reduce(InternalAggregations.java:140)
        at org.elasticsearch.search.aggregations.bucket.InternalSingleBucketAggregation.reduce(InternalSingleBucketAggregation.java:79)
        at org.elasticsearch.search.aggregations.InternalAggregations.reduce(InternalAggregations.java:140)
        at org.elasticsearch.search.controller.SearchPhaseController.merge(SearchPhaseController.java:407)
        at org.elasticsearch.action.search.type.TransportSearchQueryThenFetchAction$AsyncAction$2.doRun(TransportSearchQueryThenFetchAction.java:147)
        at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:36)
        ... 3 more

测试分析

以下测试集群中两个机器都单独存储数据

测试

1. 在Elasticsearch1.6版本下，尝试多次后发现，当集群一开始只有一个时，即另一个并没有启动（两个机器的node.master都是默认值，也就是true）。插入数据，并进行聚类运算是正常的。当启动集群中另一个机器时，由于es会自动复制数据，复制完数据后，再进行聚类查询，结果错误。
2. 在Elasticsearch1.6版本下，集群中的两台机器均启动，此时集群中没有数据。创建mapping并插入数据。再次进行查询，结果正确。
3. 在Elasticsearch1.6版本下，集群中一台机器设置node.master: true，另一个设置为 false，先对master机器进行数据插入后，再启动slave机器进行自动数据复制。再次进行查询，结果错误。
4. 在Elasticsearch1.7版本下，进行了同样的测试，每一次结果都和1.6版本相同。

分析

1. 由于会出现类型转换错误，但是普通查询并没有出错。猜测是由于elasticsearch在集群中两台机器都可以是master的情况下导致mapping同步问题。而数据本身没错。

解决方法

如果要两个都是master，则需要在集群正常的情况下进行mapping的创建，数据的插入等等，避免出错。

回想

我觉得可能也和我的数据有原因吧，但是就算是数据有问题，索引本身，mapping也不应该出错。这里应该是Elasticsearch有一些问题导致。一下子我并不能从核心来解决这个问题。只能是在集群中，一定要正确使用。

另

还有一种查询方式，用脚本查询

{
  "size": 0,
  "aggregations": {
    "counts": {
      "filter": {
        "bool": {
          "must": [],
          "must_not": [] }
      },
      "aggregations": {
        "testId": {
          "terms": { "script": "doc['test_id'].value" },
          "aggregations": { "userId": { "terms": { "script": "doc['user_id'].value" } } } }
      }
    }
  }
}

终

最后还有一种方法，由于我的字段是long类型的，而且有很多这样的字段，却只有一个字段有问题，解决方法很简单，把这个字段修改成万能的string类型，就能解决问题。至于到底是什么原因导致的问题，我在看源码，但是，并不能一下子就搞定。稍等……