Kafka 环境搭建和使用之单机模式详细教程

zp8126

已于 2024-05-08 17:40:23 修改

阅读量883

点赞数 25

分类专栏： kafka 大数据文章标签： kafka 分布式大数据

于 2024-05-08 14:58:12 首次发布

本文链接：https://blog.csdn.net/zp8126/article/details/138572336

版权

本文详细介绍了Kafka的单机模式环境搭建，包括下载、安装、配置环境变量、启动服务（Zookeeper与KRaft模式）、创建主题、使用生产者和消费者，以及文件的导入导出。适合学习、测试和开发环境，展示了Kafka的基本操作和使用流程。

摘要由CSDN通过智能技术生成

上一篇：Kakfa 简介及相关组件介绍

下一篇：Kafka 环境搭建之伪分布式集群详细教程

Kafka 环境搭建

Kafka的环境搭建可以根据不同的需求和场景采取不同的模式，主要包括以下几种：

单机模式（Standalone Mode）：在这种模式下，Kafka、Zookeeper 以及生产者和消费者都在同一台机器上运行。这是最简单的部署方式，主要用于学习、测试和开发环境中。不需要考虑网络配置和集群管理，但无法体现 Kafka 的分布式特性和高可用性。
伪分布式模式（Pseudo-Distributed Mode）：虽然所有组件仍然部署在同一台物理机器上，但是 Kafka 和 Zookeeper 会模拟分布式环境运行，即分别启动多个 Zookeeper 实例和 Kafka Broker 实例。这种方式可以模拟实际的集群环境，便于理解和调试 Kafka 的分布式特性，同时不需要额外的硬件资源。
分布式模式（Distributed Mode）：在生产环境中，Kafka 和 Zookeeper 会部署在不同的服务器上，形成真正的分布式集群。Kafka集群包含多个Broker 节点，Zookeeper 集群用于管理 Kafka 的元数据和协调 Broker及消费者之间的通信。这种模式下，可以配置副本集来增强数据的持久性和容错性，同时通过增加节点来提升系统的整体处理能力和可靠性。
云环境部署： Kafka 也可以在云平台上部署，如AWS、Azure、Google Cloud等，利用云服务提供商的基础设施和服务来快速搭建和管理 Kafka 集群。云服务商通常提供预配置的Kafka服务，简化了安装、配置、扩展和运维工作。
容器化部署：使用 Docker 容器或 Kubernetes 等容器编排工具来部署 Kafka 和 Zookeeper，可以实现更灵活的资源管理和自动扩缩容能力。这种方式特别适合微服务架构和持续集成/持续部署（CI/CD）流程。

每种模式的选择取决于具体的使用场景、资源条件、性能要求以及运维能力。对于开发和测试环境，单机模式或伪分布式模式可能更为便捷；而对于生产环境，则需要考虑分布式模式或利用云服务和容器技术来满足高可用性和可扩展性的需求。

Kafka 的搭建过程，放在下一章节来讲解！

下载

阿里镜像：apache-kafka-3.6.2安装包下载_开源镜像站-阿里云
官网：Apache Kafka

本教程使用版本为 kafka_2.13-3.6.2.tgz ，前面的 2.13 为使用的语言 scala 的版本号，后面的 3.6.2 为 kafka 版本号

单机模式

在这种模式下，Kafka、Zookeeper 以及生产者和消费者都在同一台机器上运行。

这是最简单的部署方式，主要用于学习、测试和开发环境中。

参考官网：

Apache Kafka

或

Apache Kafka

1. 安装

只需要下载、解压即可

$ tar -xzf kafka_2.13-3.7.0.tgz
$ cd kafka_2.13-3.7.0

示例演示：

[zhang@node1 soft]$ tar -xvf kafka_2.13-3.6.2.tgz -C /opt/apps
# ......解压过程省略........
# 进入安装目录
[zhang@node1 soft]$ cd /opt/apps/
[zhang@node1 apps]$ ls
flume  hadoop-3.2.4  hive3.1  jdk  jdk1.8.0_281  kafka_2.13-3.6.2  zookeeper
# 为了配置方便，重命名
[zh