搭建ELK+Filebead+zookeeper+kafka实验

20.0.0.10：Zookeeper、Kafka

20.0.0.20：Zookeeper、Kafka

20.0.0.30：Zookeeper、Kafka

20.0.0.40：ElasticSearch

20.0.0.50：ElasticSearch

20.0.0.60：ElasticSearch、Kibana

20.0.0.70：nginx、Logstash

20.0.0.80：nginx、Filebeat

ELK、Filebead、zookeeper、kafka搭建可查询之前博客

1、部署 Filebeat 

20.0.0.80

cd /usr/local/filebeat
 
vim filebeat.yml
注释162、164行内容
163行起添加
output.kafka:
  enabled: true
  hosts: ["20.0.0.10:9092","20.0.0.20","20.0.0.30"]  #指定 Kafka 集群配置
  topic: "nginx"    #指定 Kafka 的 topic

浏览器访问filebeat，生成新日志数据

（http://20.0.0.80/test.html、http://20.0.0.80.html、http://20.0.0.80/）

启动 filebeat
./filebeat -e -c filebeat.yml

2、Logstash配置

20.0.0.70

cd /etc/logstash/conf.d/
vim kafka.conf
input {
    kafka {
        bootstrap_server => "20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092"
        topics => "nginx"
        type => "nginx_kafka"
        auto_offset_reset => "latest"
    }
}
 
#filter {}
 
output {
     elasticsearch {
          hosts => ["20.0.0.40:9200", "20.0.0.50:9200", "20.0.0.60:9200"]
          index => "nginx_kafka-%{+yyyy.MM.dd}"
     }
}
 
 
 
logstash -t -f kafka.conf
logstash -f kafka.conf

3、浏览器kibana访问验证

浏览器访问 http://192.168.9.116:5601 登录 Kibana，单击【管理】按钮【创建索引模式】，搜索【nginx_kafka-*】单击 【下一步】按钮创建，选择【@timestamp】 按钮，【创建索引模式】；可查看图表信息及日志信息