日萌社
人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)
================== 非CDH中使用kafka ========================
1.kafka 创建 topic
cd /root/kafka
1.格式:bin/kafka-topics.sh --create --zookeeper zookeeper的IP:2181 --replication-factor 副本数 --partitions 分片数/分区数 --topic 主题名
2.例子:bin/kafka-topics.sh --create --zookeeper NODE1:2181 --replication-factor 2 --partitions 6 --topic log_monitor
2.kafka:通过 shell 消费者消费指定topic主题中的消息
cd /root/kafka
格式:bin/kafka-console-consumer.sh --zookeeper zookeeper的IP:2181 --from-beginning --topic 主题名
例子:bin/kafka-console-consumer.sh --zookeeper NODE1:2181 --from-beginning --topic log_monitor
================== CDH中使用kafka ========================
例子:
创建topic:kafka-topics --zookeeper node01:2181 --create –replication-factor 1 --partitions 1 --topic from_flume01
producer写入数据:kafka-console-producer --broker-list node01:9092 --topic from_flume01
consumer消费数据:kafka-console-consumer --bootstrap-server node01:9092 --topic from_flume01
问题:假如消费不出topic中的数据时。
日志报错:kafka.server.KafkaApis: [KafkaApi-48] Number of alive brokers ‘命令中指定的备份数’ does not meet the required replication factor ‘CDH中kafka配置的备份数’ for the offsets topic
方法:查看命令中指定的备份数 是否小于 CDH中kafka配置的备份数
解决:要么修改 命令中指定的备份数 ,和CDH中kafka配置的备份数 一致 或大于 CDH中kafka配置的备份数