elasticsearch-hadoop从不同index导入数据的时候,如果有相同字段的类型不一致,会报这个错误,说明类型冲突。
原因是,spark会先从es中拿出所有index的映射,构建一个映射的Map,构建好映射才会去真实的取出数据。构建映射时当有不同类型的时候,会抛出异常。
解决办法:如果这个字段后续用不到字段,就把这段注释掉。前提是保证自己需要的字段的索引都一致。
注释这段后,可以重新打包工程,放入maven库中。es-hadoop是使用gradle构建工程的,老版本从github上下载下来后没有“.git”库,会报错,需要从最近版本中下载.git拷贝到其中。