ES时区问题

ES时区问题

elasticsearch原生支持date类型，json格式通过字符来表示date类型。 
所以在用json提交日期至elasticsearch的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。

date类型是包含时区信息的，如果我们没有在json代表日期的字符串中显式指定时区，对es来说没什么问题， 
但是如果通过kibana显示es里的数据时，就会出现问题，数据的时间会晚8个小时。

kibana在通过浏览器展示的时候，会通过js获取当前客户端机器所在的时区，也就是东八区，所以kibana会把从es得到的日期数据减去8小时。 
最佳实践方案就是：往es提交日期数据时，直接提交带有时区信息的日期字符串， 
如：“2016-07-15T12:58:17.136+0800”。

数据的存储和显示相分离是非常基本的设计原则，却常常被大多数开发人员忽略: 
基于“数据的存储和显示相分离”的设计原则，只要把表示绝对时间的时间戳（无论是Long型还是Float）存入数据库，在显示的时候根据用户设置的时区格式化为正确的字符串。

System.currentTimeMillis() 自起点多少毫秒数。是隐式含有时区信息的。不同时区在同一时刻，距离起点的毫秒数是不同的！

若写入的是new Date().getTime()，默认按照系统时区写(东八区)。kibana按照东八区读没问题。 
若写入的是字符串，没有时区信息，默认按照0时区，Kibana读取的时候，若按照东八区读，差8小时。

long t = System.currentTimeMillis();
System.out.println("long = " + t);
// current time zone:
SimpleDateFormat sdf_default = new SimpleDateFormat("yyyy-MM-dd HH:mm");
System.out.println(sdf_default.format(t));

SimpleDateFormat sdf_8 = new SimpleDateFormat("yyyy-MM-dd HH:mm");
sdf_8.setTimeZone(TimeZone.getTimeZone("GMT0"));
System.out.println("GMT0 = " + sdf_8.format(t));

其它：
TimeZone.getTimeZone("GMT+8:00")
TimeZone.getTimeZone("America/Los_Angeles")
TimeZone.setDefault(TimeZone.getTimeZone("GMT+8")) 修改默认时区

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14

写入数

据查询不出结果# 
时区问题： 
东八区（GMT+08:00）是比世界协调时间（UTC）/格林尼治时间（GMT）快8小时的时区， 
英国格林尼治处于0度经线

美国横跨西五区至西十区,共六个时区。每个时区对应一个标准时间, 
华盛顿(西五区)比北京慢13小时

“Management” —- “Advanced Settings”

dateFormat：YYYY-MM-DD HH:mm:ss.SSS 显示结果时，方便查看的格式 
dateFormat:tz 若采用默认时区则，显示时需设置为 GMT0，这是 展示数据正确与否的关键设置

最佳实践

"createtime": {
               "type": "date",
               "format":"YYYY-MM-DD'T'HH:mm:ss.SSSZ" 
  }

• 1
• 2
• 3
• 4

提交数据携带时区信息

"createtime":"2017-01-22T12:58:17.136+0800" //以东八区写入

• 1

java格式化：

String FULL_FORMAT="yyyy-MM-dd\'T\'HH:mm:ss.SSS+0800";
Date now=new Date();
new SimpleDateFormat(FULL_FORMAT).format(now)

• 1
• 2
• 3

注意：

"createtime":"2017-01-22T18:55:17.136Z"  这里没有携带时区信息，将以默认时区写入(GMT0)

• 1

---

使用ELK组件从Kibana4中查看日志数据，以某个时间字段为timestam时发现所有时间都被自动提前了八个小时。 
虽然是小问题，但是很头疼，因为作为基线的时间和实际情况有误差，那日志就没法看了。 
查看Kibana4的json数据格式可以发现所有时间字符串都被Elasticsearch转换成了长整型：

"fields": {
    "@timestamp": [
      1442214581048
    ]

• 1
• 2
• 3
• 4

其source的时间值为想要的：

“@timestamp”: “2015-09-14T07:09:41.048Z”

这是因为Elasticsearch在处理时间字符串时默认按UTC时间，如果没有指定额外信息的话。 
因此，如果按照北京时间处理的话，就得需要加上08:00

在logstash的配置中可以使用mutate过滤器对输入Elasticsearch的时间字段做如下过滤：

  mutate{
        gsub => [
       "time", "[+]", "T"
                 ]
      } 
        mutate{
            replace => ["time","%{time}+08:00"]
      }

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

注意，其中T为日期和时间之间的分隔符，Elasticsearch可以识别进行处理。