elk日志分析服务器部署

elk日志分析服务器

标签（空格分隔）： 服务器

---

安装java套件

yum -y install java-1.8.0
或者
yum install java-1.8.0-openjdk

elasticsearch-5.3.2.tar 的安装（不能使用root用户运行） 下载地址

1、elasticsearch解压至/etc/local（目录随自己）
2、修改/etc/sysctl.conf 在末尾添加vm.max_map_count=400000然后执行sysctl -p
3、切换到普通用户。之后把elasticsearch文件夹设置为普通用户权限，
4、修改配置文件
    vi config/elasticsearch.yml
    修改如下参数
    cluster.name: xxx
    node.name: xxx
    network.host: 192.168.1.XX
5、修改内存 修改目录下 config/jvm.options把内存设置成1G
    -Xms1g
    -Xmx1g
修改之后 ./elasticsearch启动服务器。
默认使用9200端口，

kibana-5.3.2-linux-x86_64.tar 安装 下载地址

1、文件解压至解压至/etc/local（目录随自己）
2、修改如下参数
    server.port: 5601
    server.host: "192.168.1.xx"
    elasticsearch.url: "http://192.168.1.xx:9200"
3、运行 ./bin/kibana启动服务。

修改nginx.conf配置文件

名字que360保持统一
====================== nginx.conf ======================
http {
    log_format que360 '$remote_addr - $remote_user [$time_local] $http_host '
                      '"$request_method $http_host$request_uri $server_protocol" '
                      '$status $body_bytes_sent $request_time '
                      '"$http_referer" "$http_user_agent"';
}
server {
    access_log /var/log/que360/access.log que360;
}
nginx -s reload 重载nginx服务

filebeat-5.3.2-linux-x86_64.tar 安装 下载地址

1、filebeat安装在被监控的主机上（也必须要安装在容器里面，否则无法更新）
2、filebeat-5.3.2-linux-x86_64.tar解压到/etc/local/
3、修改配置
    filebeat.prospectors:
- input_type: log
  document_type: nginxacclog
  paths:
    - /var/log/nginx/access.log     #nginx日志目录，根据实际情况设置
output.logstash:                    #output.logstash需要配置
    hosts: ["192.168.10.11:5044"]
    index: filebeat       
#Elasticsearch output 相关配置，需要注释，否则无法上传日志

…

logstash-5.3.2.tar安装

下载地址

1、logstash-5.3.2.tar解压至/etc/local/
2、在logstash目录bin目录下新增配置文件 logstash.conf 
    input {
    beats {
      host => "192.168.1.XX"
      port => 5044
    } 
}

filter {
     grok {
            match => {
                "message" => "%{IP:remove_addr} - (%{USERNAME:remote_user}|-) \[%{HTTPDATE:time_local}\] (%{HOSTNAME:http_host}|-) \"(?:%{WORD:verb} (?<request>[^\?]*)(?:\?%{NOTSPACE:args})? (HTTP/%{NUMBER:http_version})?|-)\" %{NUMBER:status:int} %{NUMBER:body_bytes_sent:int} %{NUMBER:request_time:float} \"(%{GREEDYDATA:http_referer}|-)\" \"(%{GREEDYDATA:http_user_agent}|-)\""
            }
     }

     date {
        match => ["time_local", "dd/MMM/yyyy:hh:mm:ss Z"]
        locale => "en"
     }
}

output {
    elasticsearch {
        hosts => ["192.168.1.XX:9200"]
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        document_type => "%{type}"
        flush_size => 200
        idle_flush_time => 1
        sniffing => true
        template_overwrite => true
    } 
}

3、在bin目录执行如下命令启动  ./logstash -f logstash.conf