Logstash-2.2.2+Kibana-4.5.0+Elasticsearch-2.3.1+Mac10.10.3收集、监控Nginx日志最佳实践

目录

基础知识

介绍

Logstash、Kibana、Elasticsearch分别是什么？

Logstash
　　简单来说，Logstash一个完全开源的工具，可以进行数据收集、分析，并将其存储供以后使用。
　　虽然网上有人拿Flumn和Kafka做比较，但个人觉得Logstash反而和Flumn比较像，都是收集、处理数据的。如果最终你的数据流向是Elasticsearch，那么使用Logstash是最合适不过的，因为他们版本的升级非常接近。

Kibana
　　Kibana是一个基于浏览器页面的Elasticsearch前端展示工具。Kibana全部使用HTML语言和Javascript编写的。

Elasticsearch
　　Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎。它能帮助你搜索、分析和浏览数据。无论你是需要全文搜索、结构化数据的实时统计以及分析，Elasticsearch都可以完成。
　　Elasticsearch并不只是面向大型企业的，它还帮助了很多类似 DataDog 以及 Klout 的创业公司进行了功能的扩展。Elasticsearch 可以运行在你的笔记本上，也可以部署到成千上万的服务器上，处理PB级别的数据。
　　

安装

下载地址

---

• Logstash下载地址

https://download.elastic.co/logstash/logstash/logstash-2.3.1.zip

• Kibana下载地址

https://www.elastic.co/downloads/kibana

• Kibana MAC版本下载地址(本文也主要在Mac上做演示)

https://download.elastic.co/kibana/kibana/kibana-4.5.0-darwin-x64.tar.gz

• Elasticsearch下载地址

https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/zip/elasticsearch/2.3.1/elasticsearch-2.3.1.zip

安装

---

　　上面这些包，你可能更偏向使用 rpm，dpkg 等软件包管理工具来安装，可以自行在官网下载，如果要在老的系统上安装，那就需要下载源码自己编译了

➜ /Users/lion/tar >unzip logstash-2.2.2.zip
➜ /Users/lion/tar >tar -xzvf kibana-4.5.0-darwin-x64.tar.gz
➜ /Users/lion/tar >unzip elasticsearch-2.3.1.zip

　　很简单吧，解压一下就安装好了。

　　为了便于后面看到Elasticsearch导入的效果，可以安装ElasticSearch Head插件

➜ /Users/lion/tar/elasticsearch-2.3.1 >cd bin
➜ /Users/lion/tar/elasticsearch-2.3.1/bin >./plugin install mobz/elasticsearch-head

　　安装以后，在浏览器中输入http://localhost:9200/_plugin/head/可以查看效果

运行

---

• Logstash的运行方式

运行后，输入『Hello idoall.org』可以看到效果

➜ /Users/lion/tar/logstash-2.2.2 >bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
Settings: Default pipeline workers: 8
Logstash startup completed
Hello idoall.org
{
       "message" => "Hello idoall.org",
      "@version" => "1",
    "@timestamp" => "2016-03-28T06:38:13.269Z",
          "host" => "liondeMacBook-Pro.local"
}

• Elasticsearch的运行方式

➜ /Users/lion/tar/elasticsearch-2.3.1 >bin/elasticsearch
[2016-04-09 13:59:19,105][INFO ][node                     ] [Executioner] version[2.3.1], pid[61836], build[bd98092/2016-04-04T12:25:05Z]
[2016-04-09 13:59:19,106][INFO ][node                     ] [Executioner] initializing ...
[2016-04-09 13:59:19,668][INFO ][plugins                  ] [Executioner] modules [reindex, lang-expression, lang-groovy], plugins [head], sites [head]
[2016-04-09 13:59:19,687][INFO ][env                      ] [Executioner] using [1] data paths, mounts [[/ (/dev/disk1)]], net usable_space [141.6gb], net total_space [429.2gb], spins? [unknown], types [hfs]
[2016-04-09 13:59:19,687][INFO ][env                      ] [Executioner] heap size [989.8mb], compressed ordinary object pointers [true]
[2016-04-09 13:59:19,688][WARN ][env                      ] [Executioner] max file descriptors [10240] for elasticsearch process likely too low, consider increasing to at least [65536]
[2016-04-09 13:59:21,139][INFO ][node                     ] [Executioner] initialized
[2016-04-09 13:59:21,139][INFO ][node                     ] [Executioner] starting ...
[