Kafka基本命令

最新推荐文章于 2023-09-11 14:38:32 发布
最新推荐文章于 2023-09-11 14:38:32 发布
阅读量161 收藏
点赞数
文章标签： hadoop kafka big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhang_csdn999/article/details/121040619
版权
本文介绍了Kafka的基本命令操作，包括启动Kafka和Zookeeper，查看及创建topic，使用生产者和消费者，以及删除topic。在创建topic时，需要注意复制因子不能超过可用broker数量。通过kafka-console-producer.sh和kafka-console-consumer.sh命令进行消息生产和消费。
摘要由CSDN通过智能技术生成

启动

  1. zk.sh start
  2. kafka.sh start

查看topic列表

[hadoop@hadoop1 ~]$ kafka-topics.sh --zookeeper hadoop1:2181 --list

__consumer_offsets

创建topic

[hadoop@hadoop1 logs]$ kafka-topics.sh --zookeeper hadoop1:2181 --create --replication-factor 3 --partitions 2 --topic mytopic1

Created topic "mytopic1".

//查看主题

[hadoop@hadoop1 ~]$ cd /opt/module/kafka/logs

最低0.47元/天 解锁文章
zhang_csdn999
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recognized opt
CSDN 精品推荐
07-22 517
使用 `kafka-topics.sh --zookeeper hadoop102:2181 --list` 查看Kafka中的主题时出现 `Exception in thread "main" joptsimple.UnrecognizedOptionException: zookeeper is not a recognized opt` 。
读取topic，查看有哪些topic，删除topic,创建topic生产者
weixin_45762425的博客
12-13 1680
kafka-console-consumer --bootstrap-server localhost:9092 --topic three --from-beginning kafka-topics --list --zookeeper localhost:2181
Kafka报错：Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recogn
热门推荐
血煞长虹 的专栏
10-15 1万+
错误的根源是：kafka版本过高所致，2.2+=的版本，已经不需要依赖zookeeper来创建/查看topic，新版本使用--bootstrap-server替换老版本的--zookeeper-server，即可解决。
Kafka基本操作命令
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-29 710
本实验任务主要完成基于ubuntu环境掌握Kafka基本操作命令的工作。通过完成本实验任务，要求学生熟练掌握Kafka基本操作命令，为后续实验的开展奠定Kafka平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握基于Kafka基本操作命令Ubuntu(三台节点:mater,slave1,slave2)、Zookeeper3.4.5、Kafka2.9.2Kafka is a distributed,partitioned,replicated commit lo
kafka3.2常用命令
08-25
以上介绍了 Kafka 3.2 中的一些基本命令，包括启动 ZooKeeper 和 Kafka 服务、创建和管理 Topic 以及创建消费者和生产者。这些命令是日常管理和测试 Kafka 集群时非常实用的工具。熟练掌握这些命令可以帮助开发者和...
Kafka常用命令合集
09-18
### Kafka常用命令合集 #### 1. KafkaServer管理 **1.1 启动KafkaServer** 启动Kafka Server 的命令如下： ```sh bin/kafka-server-start.sh config/server.properties ``` 其中 `config/server.properties` ...
kafka报错：Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recogn
Zhang Phil
03-01 1万+
kafka创建主题topic报错：Exception in thread "main" joptsimple.UnrecognizedOptionException: zookeeper is not a recogn 如图： 原因：kafka最新版本创建主题topic方式已经改变，如果仍然按照过去老一套的方式比如： kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1
CentOS7安装CDH 第九章：CDH中安装Kafka
weixin_30929011的博客
05-15 256
相关文章链接 CentOS7安装CDH 第一章：CentOS7系统安装 CentOS7安装CDH 第二章：CentOS7各个软件安装和启动 CentOS7安装CDH 第三章：CDH中的问题和解决方法 CentOS7安装CDH 第四章：CDH的版本选择和安装方式 CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章：CDH的管理-CDH...
kafka搭建报错01
依着风睡的博客
07-09 980
搭建kafka后执行命令 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --opic-test 报错： [root@localhost kafka_2.11-2.2.0]# bin/kafka-topics.sh --create --zook...
CDH集成kafka
yunqishequ1的博客
06-27 867
添加kafka（把包放到cm主机目录）  1.下载kafka包http://archive.cloudera.com/kafka/parcels/latest/   把包放到parcel-repo 目录2.下载csd包http://archive.cloudera.com/csds/kafka/放到csd目录3.分配kafka包并激活注意：如果进度卡在“已解压”，直接返回重新进来就会看到“激活”4...
故障排除Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recognized
Q先生
04-19 7981
1. 故障现象 kafka版本:kafka_2.13-3.1.0 执行命令 /apps/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.31.51:2181,192.168.31.52:2181,192.168.31.53:2181 --partitions 3 --replication-factor 3 --topic pana 时出现以下错误 Exception in thread "main" joptsimple.Unrecogniz
CDH kafka
最新发布
winggyn的专栏
09-11 508
2、将上面的三个文件上传到该目录下，并将KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1重命名为KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha。在CDH上集成Kafka，要求用CDH上的Zookeeper管理Kafka。1、在/var/www/html/（http服务的默认目录）新建文件夹kafka_parcel。简要说明：例如kafka_2.11-2.2.1-kafka-4.1.0.jar。Kafka parcel**完成！
CDH安装kafka
weixin_30838921的博客
10-24 155
摘要：前言其实cloudera已经做了这个事了,只是把kafka的包和cdh的parcel包分离了,只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了,就可以实现完美集成了。具体实现的简要步骤可参照cloudera官网提供的文档:http://www.cloudera.com/content/www/en-us/documentation/kafka/lates...
CDH安装Kafka, 简称CDK安装（图解安装）
阿顾的博客
10-24 4665
文章目录一 下载包裹文件二 安装httpd三 对parcel进行分发和激活四 添加服务五 测试数据 一 下载包裹文件 http://archive.cloudera.com/kafka/parcels/4.1.0/ 创建下载的目录，并cd进去 mkdir kafka_parcel cd kafka_parcel 下载三个文件 wget http://archive.cloudera.com/k...
CDH6.3.2之Kafka配置和命令
ArYe
08-10 3293
如图示，每5分钟，日志清理程序 会根据日志保留策略 来清理符合删除条件的日志。：每个主题分区保留在日志中的数据量，设-1时无限制。创建，则消费者偏移量保存在ZooKeeper中。：点击具有Kafka服务的主机，然后点击组件。：日志保留时长，设-1时无限制，建议3天。创建，则消费者偏移量保存在Kafka中。会把主题以往所有数据都读取出来）建议给4~6G每个Broker。如果不知道CDH装哪，就把。可接收的单个消息的最大值（...
kafka基本使用
05-30
Kafka是一个分布式流处理平台，通常用于处理大量数据流。下面是Kafka的基本使用步骤： 1. 安装Kafka：你可以从官方网站上下载Kafka并按照文档进行安装。 2. 启动Kafka：Kafka有两个主要的服务，即Zookeeper和Kafka本身。要启动Kafka，必须先启动Zookeeper服务，然后再启动Kafka服务。你可以使用以下命令启动Zookeeper和Kafka服务： ``` bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start.sh config/server.properties ``` 3. 创建一个Topic：在Kafka中，数据是以Topic的形式进行发布和订阅的。要创建一个Topic，可以使用以下命令： ``` bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test ``` 4. 发送消息到Topic：使用以下命令向Topic发送消息： ``` bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test ``` 5. 从Topic中消费消息：使用以下命令从Topic中读取消息： ``` bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning ``` 这些是Kafka的基本使用步骤，当然Kafka还有很多高级功能，你可以通过阅读官方文档进一步了解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值