SpringBoot 集成Kafka

最新推荐文章于 2024-05-01 23:43:02 发布
最新推荐文章于 2024-05-01 23:43:02 发布
阅读量473 收藏
点赞数
分类专栏： springBoot学习笔记 微服务springboot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouzhiwengang/article/details/112771805
版权

Kafka项目整体结构图:

父类项目:pom.xml 依赖

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.zzg</groupId>
	<artifactId>kafka_learn</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>pom</packaging>

	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.1.2.RELEASE</version>
	</parent>
	
	<!-- 集中定义管理依赖版本号 -->
	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
		<java.version>1.8</java.version>
		<commons-lang.version>2.6</commons-lang.version>
		<commons-codec.version>1.10</commons-codec.version>
		<commons-lang3.version>3.9</commons-lang3.version>
		<commons-net.version>3.6</commons-net.version>
		<commons-io.version>2.6</commons-io.version>
		<commons-collections.version>3.2.1</commons-collections.version>
		<commons-text.version>1.8</commons-text.version>
		<common-fileupload.version>1.3.1</common-fileupload.version>
	</properties>

	
	<dependencies>
		<!--common-lang 常用工具包 -->
		<dependency>
			<groupId>commons-lang</groupId>
			<artifactId>commons-lang</artifactId>
			<version>${commons-lang.version}</version>
		</dependency>
		<!--commons-lang3 工具包 -->
		<dependency>
			<groupId>org.apache.commons</groupId>
			<artifactId>commons-lang3</artifactId>
			<version>${commons-lang3.version}</version>
		</dependency>

		<!--commons-codec 加密工具包 -->
		<dependency>
			<groupId>commons-codec</groupId>
			<artifactId>commons-codec</artifactId>
			<version>${commons-codec.version}</version>
		</dependency>
		<!--commons-net 网络工具包 -->
		<dependency>
			<groupId>commons-net</groupId>
			<artifactId>commons-net</artifactId>
			<version>${commons-net.version}</version>
		</dependency>
		<!--common-io 工具包 -->
		<dependency>
			<groupId>commons-io</groupId>
			<artifactId>commons-io</artifactId>
			<version>${commons-io.version}</version>
		</dependency>
		<!--common-collection 工具包 -->
		<dependency>
			<groupId>commons-collections</groupId>
			<artifactId>commons-collections</artifactId>
			<version>${commons-collections.version}</version>
		</dependency>
		<!--common-fileupload 工具包 -->
		<dependency>
			<groupId>commons-fileupload</groupId>
			<artifactId>commons-fileupload</artifactId>
			<version>${common-fileupload.version}</version>
		</dependency>
		<!-- common-text 工具包 -->
		<dependency>
			<groupId>org.apache.commons</groupId>
			<artifactId>commons-text</artifactId>
			<version>${commons-text.version}</version>
		</dependency>
		<!--lombok -->
		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
		</dependency>
	</dependencies>


	<modules>
		<module>kafka-cluster-producer</module>
		<module>kafka-cluster-consumer</module>
	</modules>
</project>

kafka 生成者 pom.xml 依赖

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<parent>
		<groupId>com.zzg</groupId>
		<artifactId>kafka_learn</artifactId>
		<version>0.0.1-SNAPSHOT</version>
	</parent>
	<artifactId>kafka-cluster-producer</artifactId>

	<dependencies>
		<!--starter -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter</artifactId>
		</dependency>
		<!-- test -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
		<!--web -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<!--validation -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-validation</artifactId>
		</dependency>
		<!-- kafka 集成 -->
		<dependency>
			<groupId>org.springframework.kafka</groupId>
			<artifactId>spring-kafka</artifactId>
			<version>2.2.9.RELEASE</version>
		</dependency>
	</dependencies>
</project>

kafka 生成者之程序入口:

package com.zzg;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.ConfigurableApplicationContext;

import com.fasterxml.jackson.core.JsonProcessingException;
import com.zzg.component.KafkaProducer;

@SpringBootApplication
public class ProducerApplication {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		ConfigurableApplicationContext context = SpringApplication.run(ProducerApplication.class, args);
		
		// 模拟消息发送
		KafkaProducer sender = context.getBean(KafkaProducer.class);
        for (int i = 0; i < 3; i++) {
            try {
				sender.send();
			} catch (JsonProcessingException e1) {
				// TODO Auto-generated catch block
				e1.printStackTrace();
			}

            try {
                Thread.sleep(3_000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
	}

}

kafka 生成者之核心代码:

package com.zzg.component;

import java.util.Date;
import java.util.UUID;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.zzg.message.Message;

@Component
public class KafkaProducer {
	  @Autowired
      private KafkaTemplate<String, String> kafkaTemplate;
	  
	  
	//发送消息方法
      public void send() throws JsonProcessingException {
    	  ObjectMapper objectMapper = new ObjectMapper();
    	  
          Message message = new Message();
          message.setId(System.currentTimeMillis());
          message.setMsg(UUID.randomUUID().toString());
          message.setSendTime(new Date());
         
          String content = objectMapper.writeValueAsString(message);
          // rourou为主题
          kafkaTemplate.send("rourou", content);
          
         
      }

}

kafka 生成者之消息实体对象:

package com.zzg.message;

import java.io.Serializable;
import java.util.Date;

import lombok.Data;

@SuppressWarnings("serial")
@Data
public class Message implements Serializable {
	 private Long id;    //id
     private String msg; //消息
     private Date sendTime;  //时间戳
}

kafka 生成者配置文件(application.properties)

# 指定服务端口
server.port=8096
# kafka 配置
spring.kafka.bootstrap-servers=http://192.168.1.73:9097,http://192.168.1.73:9098,http://192.168.1.73:9099
spring.kafka.producer.retries=0
spring.kafka.producer.batch-size=16384
spring.kafka.producer.buffer-memory=33554432
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

kafka 消费者 pom.xml 依赖

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<parent>
		<groupId>com.zzg</groupId>
		<artifactId>kafka_learn</artifactId>
		<version>0.0.1-SNAPSHOT</version>
	</parent>
	<artifactId>kafka-cluster-consumer</artifactId>

	<dependencies>
		<!--starter -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter</artifactId>
		</dependency>
		<!-- test -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
		<!--web -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<!--validation -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-validation</artifactId>
		</dependency>
		<!-- kafka 集成 -->
		<dependency>
			<groupId>org.springframework.kafka</groupId>
			<artifactId>spring-kafka</artifactId>
			<version>2.2.9.RELEASE</version>
		</dependency>
	</dependencies>
</project>

kafka 消费者之程序入口

package com.zzg;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class ConsumerApplication {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		SpringApplication.run(ConsumerApplication.class, args);
		System.out.println("============= SpringBoot kafka Project Start Success =============");
	}

}

kafka 消费者之核心代码:

package com.zzg.component;

import java.util.Optional;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

@Component
public class KafkaConsumer {
	 @KafkaListener(topics = {"rourou"})
	    public void listen(ConsumerRecord<?, ?> record) {
	        Optional<?> kafkaMessage = Optional.ofNullable(record.value());
	        if (kafkaMessage.isPresent()) {
	            Object message = kafkaMessage.get();

	            System.out.println("11111111111111record =" + record);
	            System.out.println("22222222222222222message =" + message);
	        }
	    }

}

kafka 消费者配置文件(application.properties)

# 指定服务端口
server.port=8097
# kafka 配置
spring.kafka.bootstrap-servers=http://192.168.1.73:9097,http://192.168.1.73:9098,http://192.168.1.73:9099
spring.kafka.consumer.group-id=myGroup
spring.kafka.consumer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.consumer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

Spring Boot2.x + Kafka 集成效果展示:

在奋斗的大道
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
springBoot集成Kafka
weixin_66545010的博客
07-06 6203
spring boot集成Kafka
springboot 之集成kafka
qq_42715450的博客
03-02 734
前言 本章只介绍springboot微服务集成kafka，跟rabbitmq用法相同，作为一个消息中间件收发消息使用，本章仅介绍集成后的基础用法，研究不深，请各位谅解。 环境准备 IntelliJ IDEA 前一章中搭建的微服务框架 前一章之后，对目录结构进行了优化，将config相关类都放到demo.config包下 开始集成 pom.xml中增加依赖包 org.springframework.kafka spring-kafka 加入依赖包后最好先执行mvn clean install编一把，把所
SpringBoot——集成Kafka详解
吴声子夜歌的博客
08-21 2万+
我们知道，kafka中每个topic被划分为多个分区，那么生产者将消息发送到topic时，具体追加到哪个分区呢？这就是所谓的分区策略，Kafka 为我们提供了默认的分区策略，同时它也支持自定义分区策略。若发送消息时指定了分区（即自定义分区策略），则直接将消息append到指定分区；若发送消息时未指定 patition，但指定了 key（kafka允许为每条消息设置一个key），则对key值进行hash计算，根据计算结果路由到指定分区，这种情况下可以保证同一个 Key 的所有消息都进入到相同的分区；
手拉手springboot整合kafka
最新发布
weixin_47268883的博客
05-01 1165
手拉手springboot整合kafka
SpringBoot整合Kafka
ITBOY_ITBOX博客
10-11 943
使用注解@KafkaListener定义当前方法监听Kafka中指定topic的消息，接收到的消息封装在对象ConsumerRecord中，获取数据从ConsumerRecord对象中获取即可。运行bin目录下的windows目录下的kafka-server-start命令即可启动kafka服务器，默认对外服务端口9092。Kafka提供有一套测试服务器功能的测试程序，运行bin目录下的windows目录下的命令即可使用。：使用消息监听器在服务器启动后，监听指定位置，当消息出现后，立即消费消息。
springboot集成kafka
01-28
springboot集成kafka demo，实现简单的生产者、消费者
springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区
01-04
springboot集成kafka实战项目代码 项目介绍地址：https://blog.csdn.net/qq_38105536/article/details/122308040
springboot集成kafka推送的简单例子
06-05
一个简单的springboot的例子，集成了定时向kafka集群推送消息的例子，代码较简单，适合新手上手。
SpringBoot集成kafka
01-05
SpringBoot集成kafka
SpringBoot集成kafka全面实战
热门推荐
Felix
03-28 20万+
本文是SpringBoot+Kafka的实战讲解，如果对kafka的架构原理还不了解的读者，建议先看一下《大白话kafka架构原理》、《秒懂kafka HA（高可用）》两篇文章。 一、生产者实践 普通生产者 带回调的生产者 自定义分区器 kafka事务提交 二、消费者实践 简单消费 指定topic、partition、offset消费 ...
SpringBoot集成Kafka详解
qq_44749491的博客
04-14 4875
一文学会Kafka整合SpringBoot及其基本使用
SpringBoot集成Kafka
禅与计算机程序设计艺术
01-28 949
1.背景介绍 1. 背景介绍 Apache Kafka 是一个分布式流处理平台，用于构建实时数据流管道和流处理应用程序。它允许在大规模和高吞吐量的系统中构建实时数据流管道，并为流处理应用程序提供一种可扩展的基础设施。Spring Boot 是一个用于构建新 Spring 应用程序的快速开始模板，它简化了配置，提供了一些基本的自动配置，并且可以与 Kafka 集成。 在本文中，我们将讨论如何将...
SpringBoot项目集成kafka及常规配置
codeLife1993的博客
06-17 1万+
使用 spring-kafka 的api，在springboot项目中集成kafka能力，封装配置。
kafka 集成SpringBoot
m0_56017821的博客
09-25 1164
kafka 2.8.0后新特性kraft模式 kafka集成springboot
spring boot整合 kafka
weixin_44603464的博客
05-23 133
配置Kafka服务地址及consumer的 group-id；
从零开始学Spring Boot系列-集成Kafka
kfashfasf的博客
03-22 1251
Apache Kafka是一个开源的分布式流处理平台，由LinkedIn公司开发和维护，后来捐赠给了Apache软件基金会。Kafka主要用于构建实时数据管道和流应用。它类似于一个分布式、高吞吐量的发布-订阅消息系统，可以处理消费者网站的所有动作流数据。这种动作流数据包括页面浏览、搜索和其他用户的行动。通过这些数据，Kafka能够实时地将数据流传输到系统和应用上。Kafka的主要特性包括：高吞吐量：Kafka以高吞吐量处理数据，即使是非常大量的数据也能轻松应对。
springboot 集成 Kafka
11-07
SpringBoot集成Kafka可以通过引入spring-kafka依赖来实现。在yaml配置文件中配置Kafka的相关信息，然后使用@KafkaListener注解来注入消费者即可。如果一个主题要被多个消费组消费，可以配置多个消费组。在消费者中，可以通过ConsumerRecord对象获取消息的相关信息，如partition、offset、key和value等。同时，为了保证消息的可靠性，需要手动提交offset。最后，启动SpringBoot项目即可实现Kafka的消费和生产。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值