elk 分布式部署

最新推荐文章于 2024-08-05 16:13:32 发布

scan724

最新推荐文章于 2024-08-05 16:13:32 发布

阅读量1.3k

点赞数

分类专栏： elk

本文链接：https://blog.csdn.net/zhaoyangjian724/article/details/52097050

版权

elk 专栏收录该内容

36 篇文章 30 订阅 ¥39.90 ¥99.00

订阅专栏

本文介绍了如何使用Logstash进行日志增量读取，并将其部署在分布式环境中。配置包括Logstash从Nginx日志中抽取数据，然后通过Redis缓存，最后将数据发送到Elasticsearch集群。日志传输过程涉及到多个服务器节点，如Logstash服务器、Elasticsearch集群和Redis服务器。Logstash的配置文件展示了从Redis读取和写入的设置，以及Elasticsearch的索引创建。

摘要由CSDN通过智能技术生成

这个logstash 读取日志 是增量的 还是怎么读的?

定时每秒读增量


机器配置；

elasticsearch-192.168.32.80


elasticsearch-192.168.32.81


elasticsearch-192.168.32.82


redis-192.168.32.67


logstash-192.168.32.76



日志需要传送到logstash 对应的服务器

nginx 配置:

http {
    include       mime.types;
    default_type  application/octet-stream;
    log_format logstash '$http_host $server_addr $remote_addr [$time_local] "$request" '
                    '$request_body $status $body_bytes_sent "$http_referer" "$http_user_agent" '
                    '$request_time $upstream_response_time';

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_refe

了解本专栏