kafka_2.11-0.11.0.0在控制台kafka-console-consumer消费者消费数据，参数zookeeper 和 bootstrap-server问题

最新推荐文章于 2024-08-27 15:34:50 发布
最新推荐文章于 2024-08-27 15:34:50 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： kafka 文章标签： 大数据 kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zytbft/article/details/108103694
版权

1.问题：

在控制台kafka-console-consumer消费者消费数据，参数zookeeper 和 bootstrap-server遇到问题，使用zookeeper可以消费数据，使用bootstrap-server不能读取数据。

我的zookeeper版本 是3.4.10，kafka版本是kafka_2.11-0.11.0.0。

2.解决：

删除zookeeper里面的kafka内容：rmr /consumer ,  rmr  /brokers等，重装kafka集群

  • 创建topic的命令如下

kafka-topics.sh --create --topic test --replication-factor 1 --partitions 3 --zookeeper qf01:2181

  • 使用bootstrap-server参数的命令如下

kafka-console-consumer.sh --bootstrap-server qf03:9092 --topic test --from-beginning

 

专注大数据开发
关注
专栏目录
kafka_2.11-0.11.0.3.zip
11-28
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning ``` 九、监控与管理 Kafka提供了命令行工具用于查看主题信息、管理消费者组等。例如，列出所有主题： ```bash ./...
Kafka~kafka-console-consumer.sh
feizuiku0116的博客
05-25 1736
1.参数 |参数|描述| |–bootstrap-server|连接的Kafka Broker主机名称和端口号| |–topic|操作的topic名称| |–from-beginning|从头开始消费| |–group|指定消费者组名称| 2.实例 消费first主题中的数据 bin/kafka-console-consumer.sh \ --bootstrap-server node1:9092 \ --topic first 把主题中所有的数据都读取出来（包括历史数据） bin/kafka-c
Kafka消费不到数据/消费者没有反应
hxc2101的博客
03-06 1万+
问题引言： 在测试kafka最简单的这个案例时，发现消费者端接收不到数据，完全没有反应 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning 解决方式 进入zookeeper客户端，将brokers节点下的topics节点
Kafka命令详解：从零开始，掌握Kafka集群管理、主题操作与监控的全方位技能，理解每一条命令背后的逻辑与最佳实践
最新发布
qq_51431069的博客
08-27 1244
Apache Kafka是一个开源的分布式消息系统，也是一个分布式流式计算平台。尽管它在流式计算方面有着强大功能，但在实际应用中，Kafka更多地被用作分布式消息队列。
WARN [Consumer clientId=consumer-1, groupId=console-consumer-950] Connection to node -1 could not be
热门推荐
hell_world!
01-08 6万+
kafka报错内容： WARN [Consumer clientId=consumer-1, groupId=console-consumer-950] Connection to node -1 could not be established. Broker may not be available. 这是因为你的配置文件中的PLAINTEXT跟你请求的内容不同。举例来说，我在配置
Windows下kafka生成消费者报错：Missing required argument “[zookeeper]“
weixin_43788143的博客
12-03 4579
.\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic kafka-test-topic --from-beginning 上面的语句就是在Windos下 kafka生成消费者的命令行，这命令行是我从百度上找的，但一直是报错。仔细看报错是缺少一个参数–zookeeper，然后我W3Cshool关于kafka的教程上看到Linux系统下生成消费者的命令行。如下： bin/kafka-console-consumer.sh.
kafka踩坑
weixin_56716786的博客
05-15 2033
刚开始一直报错WARN [Consumer clientId=consumer-console-consumer-39725-1, groupId=console-consumer-39725] Bootstrap broker bdnode01:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)，第一天我没管，后来第二天启动时我把java编译的target删除了，这个错误没了（期间我换过spring版
kafka_2.11-2.2.2.tgz
07-07
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning ``` `--from-beginning`参数表示从头开始消费。 十、管理Kafka Kafka提供了丰富的命令行工具，如`kafka-...
kafka_2.11-0.10.1.0及使用说明
05-09
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning ``` 参数`--from-beginning`表示从头开始消费。 **五、Kafka使用注意事项** 1. **数据保留策略**：默认情况...
最新版linux kafka_2.12-2.5.0.tgz
04-18
5. 创建主题：`./kafka_2.12-2.5.0/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic my-topic` 6. 生产和消费消息：使用Kafka提供的命令行工具或...
最新版kafka kafka_2.12-2.5.1.tgz
08-13
- 消费消息：`bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning` 7. **最佳实践** - 为了保证高可用性，推荐至少配置 3 个 broker。 - 合理设置分区数和...
Kafka_命令经验集
初学者乐园的博客
11-24 893
1. 查看所有 topic 列表 ./kafka-topics.sh --zookeeper {ip}:2181 --list 2. 创建 topic 主题 ./kafka-topics.sh --create --zookeeper {ip}:2181 --replication-factor 1 --partitions 1 --topic {topic_name} 3. 创建生产者消息 ./kafka-console-producer.sh --broker-list {ip}:9093 --topi
java kafka zookeeper_kafka consumer无法连接到其zookeeper
weixin_32451529的博客
02-23 943
我在ec2实例上以独立模式运行kafka和zookeeper . 我在其上创建了一个名为dev_spark1的主题 . 但是当我尝试从命令行运行使用者时，为命令提供以下错误：./bin/kafka-console-consumer.sh --zookeeper 172.31.8.226:9092 --topic dev_spark1Exception in thread "main" org.I0...
关于kafka-console-consumer.sh消费者的一些思考
weixin_43423377的博客
04-14 2771
(人物设定初步了解kafka的我) 我司现在有三台kafka服务器作为一个集群 需求是我写了一个监听器去监听活动失败的情况,如果活动失败则调用一个统计接口做数据统计 我需要从失败事件的随路数据中取一些数据,做一些判断. 现在我想从集群中看一下失败事件中的随路数据是否完整正确 于是,我xshell连接上了三台服务器并且运行以下命令 ./kafka-console-consumer.sh --bootstrap-server broker1IP:9092 --topic topicnam..
kafka学习之安装与入门
weixin_44178366的博客
10-14 887
kafka学习之安装与入门 kafka概述 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。kafka是基于发布订阅模式的主动拉取策略的。 kafka接触架构总结 1) Kafka集群 Kafka集群是由多个Broker组成的。 每个Broker拥有唯一的id. Kafka集群中有多个Topic.每个Topic可有多个分区(partition),每个分区可有多个副本(replication). 一个To
Kafka指南
王者归来
12-10 1593
下载 https://kafka.apache.org/downloads kafka_2.13-2.6.0.tgz 启动 单节点zookeeper实例 bin/zookeeper-server-start.sh config/zookeeper.properties Kafka服务器 bin/kafka-server-start.sh config/server.properties 建立主题
kafka入门篇-使用
啊帅和和的博客
11-25 1177
目录搭建kafkaidea中使用flink结合kafka配置文件idea中消费生产者生产的数据消费学生信息idea中生产数据生产学生信息 搭建kafka 1、上传压缩包到任意节点 2、解压，配置环境变量 所有节点都配置 3、修改config/server.properties 1、broker.id=0，每一个节点broker.id 要不一样 2、zookeeper.connect=master:2181,node1:2181,node2:2181 3、log.dirs=/usr/local/soft/k
kafka消费者kafka-console-consumer接收不到数据
k393393的博客
06-20 2万+
发送端 接收端 问题 采用内置的zookeeper，发送端发送数据，接收端能够接收数据 但是采用外置的zookeeper，发送端发送数据，接收端一直接收不到数据 解决： 先判断主题是否一致，如果一致就在关闭kafka ./kafka-server-stop.sh ../config/server.properties 修改一下配置，确保这些配置已加上，不要用localhost，在listene...
kafka-console-producer.sh可以发送消息到topic，但是kafka-console-consumer.sh消费不到消息
05-22
出现这种情况可能有以下几个原因： 1. 确认kafka集群是否正常运行，可以使用命令`kafka-topics.sh --list --zookeeper <zookeeper_host:port>`查看topic列表是否正确。 2. 确认producer发送到正确的topic，可以使用命令`kafka-console-consumer.sh --bootstrap-server <kafka_host:port> --topic <topic_name> --from-beginning`尝试消费消息。 3. 确认consumer连接的kafka集群是否正确，可以使用命令`kafka-console-consumer.sh --bootstrap-server <kafka_host:port> --topic <topic_name> --from-beginning`尝试消费消息。 4. 如果是在同一台机器上测试，可能是因为producer和consumer使用了不同的kafka配置文件，可以尝试将它们都使用同一个配置文件。 如果以上几个原因都排除掉了，还是无法消费到消息，可以查看kafka日志文件，确认是否有异常报错，进一步分析问题所在。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值