Kafka命令行读文件生产到topic

最新推荐文章于 2023-06-08 11:51:14 发布

橘子洲头无桔子

最新推荐文章于 2023-06-08 11:51:14 发布

阅读量1.5k

点赞数 2

分类专栏：开发随笔

本文链接：https://blog.csdn.net/zhiwenshow/article/details/109530429

版权

开发随笔专栏收录该内容

15 篇文章 0 订阅

订阅专栏

注意:要加上最后的 ‘| > out.txt’,否则控制台会输出一堆 ‘>’

 cat data.txt |  kafka-console-producer --broker-list 172.24.103.8:9092 --topic test_taos | > out.txt

提供俩个可能用到的命令

1.查看文件行数

wc -l data.txt

2.查看topic的offset

 kafka-run-class kafka.tools.GetOffsetShell --broker-list 172.24.103.8:9092 --topic test_taos

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

橘子洲头无桔子

关注关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

深入浅出理解kafka原理系列之：kafka生产者发送json数据到kafka Topic

zhengzaifeidelushang的博客

02-22

2229

深入浅出理解kafka原理系列之：kafka生产者发送json数据到kafka Topic一、设置kafka集群信息二、设置kafka相关参数三、生成json数据格式四、创建kafka生产者五、kafka生产者发送json数据到kafka Topic完整代码六、查看kafka topic数据一、设置kafka集群信息 Properties props = new Properties(); //设置kafka集群的地址 props.put("bootstra

Kafka 学习笔记（八）之producer读取file

chuliuxiangjiao的博客

07-21

6697

要想让Kafka用到实际中，就需要学会让Kafka从文件中读取内容，发送到topic里，以供consumer读取。我们以前的几篇，自己产生data的，不是从file中读的。之前先下载好scp，scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令。命令如下： yum install openssh-clients 从远程server上下载了文件到本地,下载命令：

参与评论您还未登录，请先登录后发表或查看评论

Kafka实战 - 02 Kafka生产者发送消息至topic实现数据上报

你今天真好看呀

10-16

1855

资产可能会遭受各种网络攻击，安全事件和安全告警就是已经被攻击的资产产生的日志，一条攻击链路可能会经过多个资产，由此产生的日志为安全事件，而具体某一个被攻击的资产产生的日志为安全告警。但是XDR产品无法对安全事件和安全告警处置闭环，因此需要将XDR平台的安全告警和安全事件数据接入到SIR平台处置闭环，待处置完成后将数据的处置状态同步给XDR平台，保证两个平台的数据的处置状态一致；kafka的相关配置：项目的配置中心使用的confd，#{{}}是相关配置文件语法，不影响。

将kafka指定topic数据保存到txt文件

weixin_44616592的博客

02-11

2137

开发过程中，经常会取kafka中部分数据进行测试，检验数据质量。但是数据在kafka中不便于数据质量的测试，这时需要抽取部分数据在本地进行测试，所以就用到了这篇代码 import com.tct.constants.Constants import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.api.scala._ import org.apache.flink.streaming.

通过命令行操作kafka的topic

WangYouJin321的博客

08-08

512

开一个终端作为consumer。

Kafka读取本地文件作为生产者

kwame211的博客

01-21

1858

package com.qf.utils; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import kafka.serializer.StringEncoder; import java.io.*; impor...

kafka 命令行工具常用命令行操作

勇敢前行,一路向前

01-06

413

1 数据命令 1.1 启动kafka服务 zookeeper：主要设置clientPort（使用kafka自带的zookeeper） bin/zookeeper-server-start.sh config/zookeeper.properties bin/zookeeper-server-start.sh config/zookeeper.properties start kafka server: bin/kafka-server-start.sh config/server.prope...

kafka命令行常用命令详解

tyh1579152915的博客

11-14

595

（1）查看当前服务器中的所有 topic bin/kafka-topics.sh --zookeeper hadoop100:2181 --list 目前没有主题，所以没有输出，下面我们创建一个主题（2）创建通topic bin/kafka-topics.sh --zookeeper hadoop100:2181 --create --replication-factor 1 --partitions 2 --topic first 选项说明： --topic 定义 topic .

Kafka命令行操作及清理Kafka中的所有Topic

蝈蝈

11-30

1605

1 删除集群中的logs目录中的所有文件首先停止Kafka集群然后删除logs目录中的所有文件 cd /opt/module/kafka/logs rm -rf * 2 登录ZK 删除除zookeeper之外的其他所有节点 bin/zkCli.sh -server hadoop101:2181 ls / deleteall /admin deleteall /brokers deleteall /cluster deleteall /config deleteall /consumers dele

springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区

01-04

最后，创建Kafka Topic可以通过Kafka命令行工具或编程方式完成。在Spring Boot应用中，可以使用`AdminClient`来动态创建Topic： ```java import org.apache.kafka.clients.admin.AdminClient; import org.apache....

kafka(1):本地使用kafka创建topic/收发消息

qq_34915367的博客

06-08

614

3.kafka消息是按照topic来收发的，所以，要先创建topic。topic可以有多个分区，每个分区的数据都可以制定其副本个数据，防止丢失恢复。这些在创建topic的时候，都需要制定。4.kafka的生产者和消费者的脚本，先开启消费者，然后从生产端输入数据，消费端可以实时接收到，命令中包含了topic的基本信息以及所在主机位置。2. 进入解压包路径，开启zk和kafka，zk是来监管kafka的一些元数据和存储情况的。1. 官网下载jar包，解压即用。2.1.查看topic。

kafka系列 ---安装kafka+SASL配置

qq_27621745的博客

09-15

1406

文章目录前言一、pandas是什么？二、使用步骤 1.引入库 2.读入数据总结前言这篇主要讲如何安装kafka+配置SASL安全验证，之前网上一些文章要么没有配置SASL，要么本身存在一些问题，这里主要把正确的配置方案放上来，后续会讲讲遇到的一些问题和该如何解决。一、安装kafka 官网的quickstart有最新安装教程，想安装最新版可以去官网，目前我使用的是kafka 2.6.0。这里的所有操作都是在linux服务器上进行的，如果没有li...

【Kafka笔记】2.Kafka常用命令操作

菜鸟sdut的博客

11-06

1463

简介 kafka可以使用java等编程语言实现topic以及消费消息，生产消息的操作，同样命令行也可以实现这些操作。 Kafka的topic的增删改查对于kafka的topic操作，我们需要用到的是bin/kafka-topics.sh这个脚本文件。 root@master:/opt/module/kafka_2.11-0.11.0.2# pwd /opt/module/kafka_2.11-0...

Kafka常用命令之kafka-console-producer.sh

热门推荐

Ernest

05-04

5万+

kafka-console-producer.sh 脚本通过调用 kafka.tools.ConsoleProducer 类加载命令行参数的方式，在控制台生产消息的脚本。本文是基于 Kafka_2.12-2.5.0 版本编写的，--bootstrap-server 参数于此版本开始被使用，而 --broker-list 也是在此版本开始被置为过时，但其属性值依旧保持不变。在使用较旧版本时，注意...

【Kafka】命令行管理topic

Just Do IT

04-11

1399

1. 创建topic [hadoop@node03 bin]$ kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node01:2181,node02:2181,node03:2181 Created topic "test". 参数说明： partitions：指定...

kafka命令行操作大全

feiyan的博客

04-13

5648

最近利用flink使用一个流式SQL处理平台，利用kafka, mysql, hive等组件比较多，命令行突然间需要操作一次记不住命令很麻烦，索性直接整理成笔记。在 0.9.0.0 之后的 Kafka，出现了几个新变动，一个是在 Server 端增加了 GroupCoordinator 这个角色，另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic(__consumer_offsets)中。启动 Kafka 后台常驻方式，带上参数

使用shell读取文本文件发送到kafka

weixin_34413065的博客

01-17

2726

#!/bin/sh ## 参数定义 dt=`date +"%Y%m%d" -d "-1 days"` outpath=/xxxx_log_${dt}.txt brokerlist=192.168.1.100:9092,192.168.1.101:9092,192.168.1.102:9092 echo $dt $outpath $brokerlist ## 查询h...

将数据写到kafka的topic

weixin_30702413的博客

10-27

1823

package test05import java.util.Propertiesimport org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord}import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object ...

kafka的基本操作（命令行操作）

qq_55906442的博客

12-07

8258

目录一：准备二：kafka的基本操作（命令行操作）一：准备 1.安装kafka 操作：kafka单机和集群（全分布）的安装部署过程_一个人的牛牛的博客-CSDN博客 2.安装zookeeper 操作：zookeeper单机和集群（全分布）的安装过程_一个人的牛牛的博客-CSDN博客 3.启动zookeeper 在zookeeper目录下执行： bin/zkServer.sh start 如果是集群每一台都需要执行启动命令！！验证：jps看到QuorumPeerMai..

kafka命令行消费