zwahut的专栏

开始阅读位置#config 选项scan.startup.mode指定 Kafka 消费者的启动模式。有效的枚举是：`group-offsets`：从特定消费者组的 ZK / Kafka 代理中的已提交偏移量开始。 `earliest-offset`：从可能的最早偏移量开始。 `latest-offset`：从最新的偏移量开始。 `timestamp`：从用户提供的每个分区的时间戳开始。 `specific-offsets`：从用户提供的每个分区的特定偏移量开始。默认选项值group-o.

问题描述：项目中人大金仓同步工具同步数据增量到kafka集群，无法自动创建topic，以及出现同步到topic时连接失败的问题，经过排查修改配置参数最终解决。重新安装zk和kafka操作步骤1、先把zk和kafka都停掉三台都执行zookeeper/bin/zkServer.sh stop三台都执行kafka/bin/kafka-server-stop.sh2、把之前的目录文件都备份删除mv /data/zkData/data/zkData-bakmv/d..

1、需求描述大致需求是这样的，kafka作为数据缓存通道，接收前端设备上传的数据，现在需要实现读取kafka的数据，再保存到文件，但是不能全部写入一个文件，会导致一个文件过大，需要按照指定行数分割文件，按行数是为了方便核对数据量，前端上传了多少数据，kafka接收了多少数据，最终写入文件多少数据。另外需要说明传入的数据是一个复杂的json字符串，嵌套了很多内容，而且还有图片的base64字...

1、下载解压tar -xzf kafka_2.12-2.4.0.tgzcd kafka_2.12-2.4.02、启动zookeeper和server#前台启动 bin/zookeeper-server-start.sh config/zookeeper.properties#后台启动nohup bin/zookeeper-server-start.sh config/zo...

原文链接：https://streamsets.com/blog/ingesting-data-apache-kafka-timescaledb/作者：Pat Patterson 2019年5月28日 StreamSets新闻时间序列数据库时间序列数据库经过优化，可以处理按时间索引的数据，有效地处理特定时间范围内的数据查询。市场上有几个时间序列数据库，事实上，Data Collect...