Spring Boot 2.0.6 整合 Spring Clod Bus + Kafka

最新推荐文章于 2021-07-28 13:32:22 发布
最新推荐文章于 2021-07-28 13:32:22 发布
阅读量910 收藏
点赞数
文章标签： spring cloud bus spring boot 2.0.6
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zx11010617/article/details/97505255
版权
本文介绍了如何将Spring Boot 2.0.6与Spring Cloud Bus和Kafka进行整合，详细阐述了配置中心和消息总线的设置过程，包括Eureka Server、Config Server、Config Client的搭建，以及测试步骤。文章还提到了整合过程中可能遇到的问题和解决方案。
摘要由CSDN通过智能技术生成

Spring Boot 2 .0.6 整合 Spring Clod Bus + Kafka

整体说明

本文是对 纯洁的微笑 的技术文章 springcloud(九)：配置中心和消息总线（配置中心终结版） 的SpringBoot版本改到2.0.6以及支持整合Kafka的相关处理。对整合过程中出现的问题作了记录，供大家参考。

前置条件

  1. kafka 集群，本文使用3个结点kafka。kafka具体搭建不多作说明，可参考 搭建kafka集群详细教程
  2. 一个自己可控的github账号及已建好的项目

功能说明

1. spring cloud bus 实现多个结点共用github上指定配置文件，对该配置文件push到github上以后，会自动更新到各个结点。

2. 因为webhook涉及到自有域名，本文未实现通过webhook自动更新。
   本文实现功能:
   多个结点共用github上指定配置文件，对该配置文件push到github上以后，手动调用refresh url，
   配置更新到所有结点

实现代码见 上传到git https://github.com/zx11010617/learning上的demo项目

限制说明

  1. kafka 集群的版本应该至少在1.*以上，0.*的版本会报如下错误
    java.lang.IllegalArgumentException: Magic v1 does not support record headers

  2. 高版本springboot如2.1.6对下文所述内容不支持

  3. 本地测试时，存在一个bug。对一个config-client项目,通过修改配置文件server.port，启动两个config-client服务，分别调用两次bus-refresh会将第其中一个服务下线。
    因此建议，通过写两份配置文件本地分别高用不同配置文件启动服务,或者建两个服务或者打两个jar包等方式测试。

整合及测试

下面主要列出pom和properties文件以及java文件。具体代码可以见前述git链接。

1、 搭建eureka-server

pom如下

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>
    <groupId>com.fs</groupId>
    <artifactId>eureka-server</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>
    <name>eureka-server</name>
    <description>Demo project for eureka-server</description>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.6.RELEASE</version>
        <relativePath/>
    </parent>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
        <spring-cloud.version>Finchley.RELEASE</spring-cloud.version>
    </properties>
    <dependencies>

        <!--eureka-server-->
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-eureka-server</artifactId>
        </dependency>

    </dependencies>
    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-dependencies</artifactId>
                <version>${spring-cloud.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>
    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
</project>

application.properties如下:

spring.application.name=eureka
server.port=8000
eureka.client.register-with-eureka=false
eureka.client.fetch-registry=false
eureka.client.service-url.defaultZone=http://localhost:8000/eureka/

启动类如下:

package com.fs.demo;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.netflix.eureka.server.EnableEurekaServer;


@SpringBootApplication
@EnableEurekaServer
public class ErukaServerApplication {
   

    // http://www.ityouknow.com/springcloud/2017/05/10/springcloud-eureka.html
    public static void main(String[] args) {
   
        SpringApplication.run(ErukaServerApplication.class, args);
    }

}

2、搭建config-server

pom如下

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.fs</groupId>
    <artifactId>config-server</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>
    <name>config-server</name>
    <description>Demo project for config-server</description>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.6.RELEASE</version>
        <relativePath/>
    </parent>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
        <spring-cloud.version>Finchley.RELEASE</spring-cloud.version>
    </properties>
    <dependencies>

        <!--config-server-->
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-config-server</artifactId>
        </dependency>

        <!--高可用添加-->
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-eureka</artifactId>
            <version>RELEASE</version>
        </dependency>

        <!--消息总线支持-->
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-bus-kafka</artifactId>
            <version>2.0.0.RELEASE</version>
        </dependency>

    </dependencies>
    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-dependencies</artifactId>
                <version>${spring-cloud.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>
    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
</project>

application.properties如下:

spring.application.name=spring-cloud-config-server
server.port=8001

### git配置 ###
spring.cloud.config.server.git.uri=https://github.com/zx11010617/mysp.git
spring.cloud.config.server.git.search-paths=demo/src/main/conf
spring.cloud.config.server.git.username=zx11010617 
spring.cloud.config.server.git.password=**********


### kafka配置。注意的是kafka集群的版本要是1.x以上 ###
## 消费者配置
spring.kafka.consumer.group-id=test-consumer-group0
spring.kafka.bootstrap-servers=bg14:9092,bg15:9092,bg16:9092

## 生产者配置
#不配置此项有可能造成bus的springCloudBus无法初始化
spring.cloud.stream.kafka.binder.autoCreateTopics=true
spring.cloud.stream.kafka.binder.auto-add-partitions=true
spring.cloud.stream.kafka.binder.replication-factor=3
spring.cloud.stream.bindings.springCloudBusOutput.producer.partitionCount=3


### bus配置 ###
# 添加对refresh支持
spring.cloud.bus.refresh.enabled=true
# bus用这个对应的，对应的刷新url是 http://localhost:8005/actuator/bus-refresh。这里经测试只能写bus-refresh
management.endpoints.web.exposure.include=bus-refresh

bootstrap.properteis如下:

spring.cloud.config.name=config
spring.cloud.config.profile=dev
spring.cloud.config.label=master
spring.cloud.config.discovery.enabled=true
eureka.client.serviceUrl.defaultZone=http://bg16:8000/eureka
spring.cloud.config.discovery.serviceId=spring-cloud-config-server

添加启动类

package com.fs.demo;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
import org.springframework.cloud.config.server.EnableConfigServer;
import org.springframework.cloud.stream.binder.PartitionKeyExtractorStrategy;
import org.springframework.context.annotation.Bean;
import org.springframework.messaging.M
最低0.47元/天 解锁文章
zx11010617
关注
Spring Boot 2.0.6 参考文档（英文版）
10-23
Spring Boot 2.0.6是该框架的更新版本，它为开发者提供了快速开发、配置简单、独立运行和易部署等特性。文档提供了关于Spring Boot的详尽介绍、入门指南、详细配置以及最佳实践，适用于希望使用Spring Boot构建基于...
SpringBoot整合kafka
li-zhang-yu的博客
04-30 423
一：SpringBoot整合kafka
Spring Cloud Bus整合Kafka
weixin_33958585的博客
10-30 384
Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成，具备许多优秀的性能：高吞吐、分布式、跨平台、实时性以及伸缩性，本文我们就来看看如何将Spring Cloud Bus和Kafka进行整合。 本文是Spr...
SpringCloudBus使用Kafka实现消息总线
weixin_33836874的博客
01-29 463
Kafka是分布式发布-订阅消息系统，最初由LinkedIn公司开发，之后成为之后成为Apache基金会的一部分，由Scala和Java编写。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 在开始本文前，需要搭建kafka的环境，如果是在CentOS环境下，可以看看我前面的文章：CentOS7下Ka...
学习笔记:微服务-22 spring cloud config+kafka+spring cloud bus 消息总线实现配置自动更新
Pannahouse的博客
11-25 221
上节配置了spring cloud config server，集中管理配置文件，当配置文件发生变化时，客户端通过 curl -X POST http://客户端地址:端口/actuator/refresh 可以刷新客户端配置，但是如果微服务多了，一个微服务有多个实例在运行，需要一个个去刷新，采用bus消息总...
spring-boot-reference 2.0.6
10-30
spring-boot-reference 2.0.6的pdf源文档，也可以自己去官网下载
解决spring-boot2.0.6中webflux无法获得请求IP的问题
08-26
在Spring Boot 2.0.6中，如果你正在使用WebFlux进行开发，你可能会遇到一个常见的问题：无法直接从`ServerRequest`对象中获取客户端的IP地址。WebFlux是Spring Framework的一部分，它提供了非阻塞式、反应式编程模型...
mybatis-spring-2.0.6.jar
03-23
mybatis-spring-2.0.6.jar
mybatis-spring-2.0.6-API文档-中文版.zip
05-09
赠送jar包：mybatis-spring-2.0.6.jar； 赠送原API文档：mybatis-spring-2.0.6-javadoc.jar； 赠送源代码：mybatis-spring-2.0.6-sources.jar； 赠送Maven依赖信息文件：mybatis-spring-2.0.6.pom； 包含翻译后的API...
22.Spring Cloud整合RabbitMQ或Kafka消息驱动
06-05
简单介绍了如何在Spring Cloud中使用RabbitMQ和Kafka来完成消息发送与接收
MapReduce 重要组件——Partitioner组件
放逐的菜鸟的博客
02-13 1242
（1）Partitioner组件可以让Map对Key进行分区，从而可以根据不同的key来分发到不同的reduce中去处理； （2）你可以自定义key的一个分发股则，如数据文件包含不同的省份，而输出的要求是每个省份输出一个文件； （3）提供了一个默认的HashPartitioner。 自定义Partitioner： （1）继承抽象类Partitioner，实现自定义的getParti
使用kafka作为springcloud bus的消息总线，以及如何自定义总线事件
热门推荐
xiao_jun_0820的专栏
09-27 2万+
springcloud bus默认只支持rabbitmq和kafka两个binder，当然也是可以自己写binder扩展，本文主要介绍使用kafka 作为binder来提供消息总线服务，最新稳定版的Dalston.SR3默认使用的是kafka 0.10.1.1版本，如果你的kafka集群不是这个版本的话，需要整理一下依赖(排除原来的依赖，添加新的kafka相关依赖，官方文档有详细说明),不过也只支
Spring Cloud Config + Spring Cloud Bus + kafka实现配置中心配置动态更新
lixiaxin200319的博客
09-22 1万+
一、架构图 当在 Git 仓库中某个应用配置文件中的参数更新后，只需要通过 POST方法访问 config Server 的 /actuator/bus-refresh 接口，就可以让所以的微服务节点更新配置。 在我们的 DEMO 中有一个 Config Server 和 两个 Config Client。另外还有两个配置中心节点。配置中心节点的部署请查看 Spring Cloud Eure...
springboot整合kafka
dreamzuora的博客
07-29 244
我的springboot是2.2.6版本 pom配置： <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.4.3.RELEASE</version> </
SpringCloud_bus消息总线集成kafka
qq_39246466的博客
07-28 1917
Spring Cloud Bus除了支持RabbitMQ的自动化配置之外，还支持现在被广泛应用的Kafka。在本文中，我们将搭建一个Kafka的本地环境，并通过它来尝试使用Spring Cloud Bus对Kafka的支持，实现消息总线的功能。 Kafka是一个由LinkedIn开发的分布式消息系统，它于2011年初开源，现在由著名的Apache基金会维护与开发。Kafka使用Scala实现，被用作LinkedIn的活动流和运营数据处理的管道，现在也被诸多互联网企业广泛地用...
springCloud整合Kafka消息总线
qq_42415973的博客
04-03 1907
首先将相关的依赖导入pom.xml文件中 <dependencies> <!-- springboot核心 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter&...
SpringCloud实战8-Bus消息总线
weixin_33713503的博客
05-23 331
好了现在我们接着上一篇的随笔，继续来讲。上一篇我们讲到，我们如果要去更新所有微服务的配置，在不重启的情况下去更新配置，只能依靠spring cloud config了，但是，是我们要一个服务一个服务的发送post请求， 我们能受的了吗？这比之前的没配置中心好多了，那么我们如何继续避免挨个挨个的向服务发送Post请求来告知服务，你的配置信息改变了，需要及时...
Spring框架2.0.6版详解
"Spring开发指南，版本2.0.6，涵盖了Spring框架的更新、核心特性、中间件和Web层的增强" Spring框架是Java应用开发中的一个关键组件，尤其在企业级应用中广泛使用。它以其Inversion of Control (IoC) 容器和Aspect ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值