私有部署ELK，搭建自己的日志中心（六）-- 引入kafka对采集日志进行削峰填谷

最新推荐文章于 2024-05-30 17:07:41 发布
最新推荐文章于 2024-05-30 17:07:41 发布
阅读量1.2k 收藏 9
点赞数 8
文章标签： elk kafka 分布式 java logback 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuganlai168/article/details/135280448
版权

一、背景

首先，要说明一点，elk日志中心，是可以缺少kafka组件的。
其次，如果是研发环境下，机器资源紧张的情况下，也是可不部署kafka。
最后，因为kafka的部署是可以独立的，所以本文将另行部署，不和elk一起。

二、目标

1、数据的可视化

2、数据的治理

3、对采集数据进行削峰填谷

三、部署

1、三节点的kafka集群

本机的IP地址是192.168.8.29，请你修改为自己的IP

version: "3"
services:
  # kafka集群
  kafka1:
    image: bitnami/kafka:3.3.1
    container_name: kafka1
    user: root
    ports:
      - 9192:9092
      - 9193:9093
    environment:
      ### 通用配置
      # 允许使用kraft，即Kafka替代Zookeeper
      - KAFKA_ENABLE_KRAFT=yes
      # kafka角色，做broker，也要做controller
      - KAFKA_CFG_PROCESS_ROLES=broker,controller
      # 指定供外部使用的控制类请求信息
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      # 定义kafka服务端socket监听端口
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
      # 定义安全协议
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      # 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可
      - KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
      # 集群地址
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093
      # 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
      - ALLOW_PLAINTEXT_LISTENER=yes
      # 设置broker最大内存，和初始内存
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
      # 允许自动创建主题
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true
      # 消息保留时长（毫秒），保留7天
      - KAFKA_LOG_RETENTION_MS=604800000
      ### broker配置
      # 定义外网访问地址（宿主机ip地址和端口）
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.8.29:9192
      # broker.id，必须唯一
      - KAFKA_BROKER_ID=1
    volumes:
      - ./data/kafka1:/bitnami/kafka
    
  kafka2:
    image: bitnami/kafka:3.3.1
    container_name: kafka2
    user: root
    ports:
      - 9292:9092
      - 9293:9093
    environment:
      ### 通用配置
      # 允许使用kraft，即Kafka替代Zookeeper
      - KAFKA_ENABLE_KRAFT=yes
      # kafka角色，做broker，也要做controller
      - KAFKA_CFG_PROCESS_ROLES=broker,controller
      # 指定供外部使用的控制类请求信息
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      # 定义kafka服务端socket监听端口
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
      # 定义安全协议
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      # 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可
      - KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
      # 集群地址
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093
      # 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
      - ALLOW_PLAINTEXT_LISTENER=yes
      # 设置broker最大内存，和初始内存
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
      # 允许自动创建主题
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true
      # 消息保留时长（毫秒），保留7天
      - KAFKA_LOG_RETENTION_MS=604800000
      ### broker配置
      # 定义外网访问地址（宿主机ip地址和端口）
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.8.29:9292
      # broker.id，必须唯一
      - KAFKA_BROKER_ID=2
    volumes:
      - ./data/kafka2:/bitnami/kafka
    
  kafka3:
    image: bitnami/kafka:3.3.1
    container_name: kafka3
    user: root
    ports:
      - 9392:9092
      - 9393:9093
    environment:
      ### 通用配置
      # 允许使用kraft，即Kafka替代Zookeeper
      - KAFKA_ENABLE_KRAFT=yes
      # kafka角色，做broker，也要做controller
      - KAFKA_CFG_PROCESS_ROLES=broker,controller
      # 指定供外部使用的控制类请求信息
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      # 定义kafka服务端socket监听端口
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
      # 定义安全协议
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      # 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可
      - KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
      # 集群地址
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093
      # 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
      - ALLOW_PLAINTEXT_LISTENER=yes
      # 设置broker最大内存，和初始内存
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
      # 允许自动创建主题
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true
      # 消息保留时长（毫秒），保留7天
      - KAFKA_LOG_RETENTION_MS=604800000
      ### broker配置
      # 定义外网访问地址（宿主机ip地址和端口）
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.8.29:9392
      # broker.id，必须唯一
      - KAFKA_BROKER_ID=3
    volumes:
      - ./data/kafka3:/bitnami/kafka

2、kafka ui

本机的IP地址是192.168.8.29，请你修改为自己的IP

如果你要安装，请追加以下容器。

  #kafka可视化工具
  kafka-ui:
    container_name: kafka-ui
    image: provectuslabs/kafka-ui:latest
    ports:
      - 8989:8080
    depends_on:
      - kafka1
      - kafka2
      - kafka3
    environment:
      - KAFKA_CLUSTERS_0_NAME=kafkaCluster
      - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=192.168.8.29:9192,192.168.8.29:9292,192.168.8.29:9392
      - DYNAMIC_CONFIG_ENABLED=true

四、配置说明

1、开启使用kraft，即kafka替代Zookeeper。

2、data数据持久化到相对路径下。
在这里插入图片描述
3、允许自动创建kafka主题

     # 允许自动创建主题
     - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true

4、设置kafka消息的保留有效期

     # 消息保留时长（毫秒），保留7天
     - KAFKA_LOG_RETENTION_MS=604800000

5、broker的jvm配置

      # 设置broker最大内存，和初始内存
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M

6、注意版本兼容，镜像使用bitnami/kafka:3.3.1

五、修改filebeat.yml的output

#output.logstash:
#  enabled: true
#  hosts: ["logstash:5044"]
    output.kafka:
      enabled: true
      hosts: ["192.168.8.29:9192","192.168.8.29:9292","192.168.8.29:9392"]
      topic: jvmlog
      partition.round_robin:
        reachable_only: true
      required_acks: 1  # 本地写入完成
      compression: gzip  # 开启压缩
      max_message_bytes: 1000000  # 消息最大值

六、修改logstash的input

input {
    #beats {
    #   port => 5044
    #}
    kafka {
        codec => plain{charset => "UTF-8"}
        bootstrap_servers => "192.168.8.29:9192"
        consumer_threads => 5
        auto_offset_reset => "latest"
        decorate_events => true
        topics => "jvmlog"
    }

}

七、kafka ui

访问地址：http://192.168.8.29:8989/ui
在这里插入图片描述
由于是自动创建kafka的topic，不用手动创建。
在这里插入图片描述
点击topic主题“jvmlog”，查看消息列表Messages：
在这里插入图片描述

天草二十六_简村人
关注
  • 8
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
微服务架构的优势及在可靠性: 基本概念及技术要素，如服务发现、健康检查、负载均衡、服务熔断、流量控制、日志聚合、监控告警、分布式跟踪
禅与计算机程序设计艺术
07-28 992
2021年，在疫情之下，全世界疯狂抗击新冠肺炎疫情的进程已经结束。随着IT行业的转型，越来越多的企业采用微服务架构的方式来部署自己的应用。微服务架构提升了应用的开发效率、敏捷性和可扩展性等优点，也带来了新的挑战——如何保证应用的高可用？在微服务架构中，每个服务都有自己的进程、资源以及数据存储，这意味着应用整体的可用性就会受限于这些服务的可用性。比如说，一个典型的微服务架构会由多个小的服务组成，服务之间通过API通信，并且这些服务可能部署在不同的主机上，如果其中某些服务宕机，其他服务还能正常运行吗？
ELK日志中心搭建（三）- logstash8.5.3
03-04
logstash8.5.3-日志配置
Linux运维-04-日志分析-日志监控ELK-day02-ELK日志系统
11-02
Linux运维-04-日志分析-日志监控ELK-day02-ELK日志系统生产案例-03-kibana索引模式创建与.mp4
ELK日志中心搭建（一）-elasticsearch8.5.3
03-04
elasticsearch-8.5.3-linux-x86_64.tar.gz filebeat-8.5.3-linux-x86_64.tar.gz kafka_2.12-3.4.0.tgz logstash-8.5.3-linux-x86_64.tar.gz
Java架构专家
星月IWJ
08-09 296
java架构专家
大型分布式网站架构设计与实践
天行健，君子以自强不息；地势坤，君子以厚德载物。
10-27 1023
阅读文本大概需要3分钟。SOA和RPC随着互联网规模发展，面向服务的体系架构(SOA)成为主流的架构方式，SOA的本质思想是高内聚、低耦合地实现分治，各个系统之间通过服务...
私有部署ELK，搭建自己的日志中心（一）-- 概述
天草二十六
12-28 811
最后一篇不出意外是我们本系统文章的总结。
微服务日志收集系统-ELK+Kafka相关安装文件
05-30
微服务日志收集系统-ELK+Kafka相关安装文件，对应我的微服务博客； 包含Elasticsearch安装资料、Kafka安装资料、Kibana安装资料、Logstash安装资料； Dockerfile、配置文件、安装包等
云计算-运维笔记
热门推荐
weixin_52099680的博客
07-13 1万+
source 刷新环境变量的作用是当前终端可以生效使用 切换另一个终端时会重新加载一便环境变量 awk ‘{print $1}’ 1.log |sort -n |uniq -c |sort -n xargs 将上一个命令的输出 变成下一个命令的参数 删除中文 a d 你 好 ls | grep -vP[a-z-.]+|rm -rf ‘xargs’ #egrep -P 扩展正则 ‘[ ]’ 规范写法加’’ 号 *脚本 1.系统初始化脚本 #!/bin/bash cat <<EOF
面经-hangzhou
m0_46338222的博客
07-08 6110
加油
程序员欣宸文章汇总(数据库+中间件篇)
程序员欣宸的博客
03-25 7162
本文汇集了作者所有数据库和中间件的文章，如果出现对您有参考价值的内容，我将不胜荣幸。
Linux 使用 yum安装 ELK服务，yum 安装elasticsearch和Kibana(未写完)
雪花凌落的盛夏
05-27 639
是一个近实时（NRT）的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。它是一个具有近实时（NRT）传输能力的数据收集、过滤、分析引擎，用来进行数据收集、解析、过滤，并最终将数据发送给ES。它是一个为 ElasticSearch 提供分析和展示的可视化 Web 平台。它可以在 ElasticSearch 的索引中查找，交互数据，并生成各种维度表格、图形以及仪表盘。
ELK 使用 metricbeat监控数据
最新发布
weixin_44295677的博客
05-30 445
使用metricbeat监控elastic
【夏之以寒-Kafka专栏 02】什么情况下会发生 QueueFullException？
weixin_40736233的博客
05-27 305
QueueFullException是一个异常，通常在消息队列（Message Queue）中使用，当尝试将消息放入队列时，如果队列已满，则可能会抛出此异常。
Kafka
weixin_61015632的博客
05-27 182
它可以看作是一个消息队列服务，但与传统消息队列相比，具有更高的吞吐量、更好的可扩展性和持久性。（Kafka Cluster）：这相当于广播电台的设施，包括发射塔、控制室等。（Consumers）：消费者就是听众，也是信息的接收者。在Kafka中，消费者是指那些从。，不同的分区可以分布在Kafka集群的不同服务器上，以提高系统的吞吐量和可用性。为了通俗地理解Kafka，我们可以把它比作一个“大型的广播电台”，在Kafka中，消息是由生产者发布，消费者读取的。在Kafka中，消息被分类存储在不同的主题中，
kafka的安装
沉下心,苦磨炼
05-27 296
性能压测kafka
kafka-生产者发送消息&消费者消费消息
小丁的博客
05-28 485
kafka-生产者发送消息&消费者消费消息。
kafka 可以脱离 zookeeper 单独使用吗？为什么？
蜗牛Clear的博客
05-28 412
集群元数据管理：Kafka使用Zookeeper来保存和管理集群的元数据，包括broker的列表、topic的分区信息、消费者组的偏移量等。虽然理论上可以将Kafka与Zookeeper分开，但实际上，Kafka在设计时就与Zookeeper深度集成，并依赖于Zookeeper的一些重要功能。Zookeeper提供了必要的元数据管理、Leader选举和故障恢复等功能，为Kafka集群的正常运行和高可用性提供了支持。在Kafka集群中，Zookeeper负责保存和维护分布式系统的信息。
docker-compose部署ELK
05-30
好的，下面是Docker Compose部署ELK的步骤： 1. 首先需要在本地安装Docker和Docker Compose。 2. 创建一个Docker Compose文件，命名为docker-compose.yml，内容如下： ``` version: '3' services: elasticsearch: image: elasticsearch:7.10.1 container_name: elasticsearch environment: - discovery.type=single-node ports: - "9200:9200" - "9300:9300" volumes: - ./elasticsearch/data:/usr/share/elasticsearch/data logstash: image: logstash:7.10.1 container_name: logstash volumes: - ./logstash/pipeline:/usr/share/logstash/pipeline ports: - "5000:5000" - "9600:9600" depends_on: - elasticsearch kibana: image: kibana:7.10.1 container_name: kibana ports: - "5601:5601" depends_on: - elasticsearch ``` 3. 在同级目录下创建三个文件夹：elasticsearch/data、logstash/pipeline和kibana/config，用于存储数据和配置文件。 4. 在logstash/pipeline文件夹下创建一个logstash.conf文件，用于配置Logstash： ``` input { tcp { port => 5000 codec => json_lines } } output { elasticsearch { hosts => ["elasticsearch:9200"] index => "logstash-%{+YYYY.MM.dd}" } } ``` 5. 在kibana/config文件夹下创建一个kibana.yml文件，用于配置Kibana： ``` server.host: "0.0.0.0" elasticsearch.hosts: ["http://elasticsearch:9200"] ``` 6. 执行以下命令启动ELK： ``` docker-compose up ``` 7. 访问http://localhost:5601，即可进入Kibana界面，开始使用ELK进行日志分析。 希望这些步骤能够帮助你成功部署ELK。如果有任何问题，请随时向我提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值