![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
消息队列
文章平均质量分 55
未竟
这个作者很懒,什么都没留下…
展开
-
Flink对接Kafka的topic数据消费offset设置参数
开始阅读位置# config 选项scan.startup.mode指定 Kafka 消费者的启动模式。有效的枚举是: `group-offsets`:从特定消费者组的 ZK / Kafka 代理中的已提交偏移量开始。 `earliest-offset`:从可能的最早偏移量开始。 `latest-offset`:从最新的偏移量开始。 `timestamp`:从用户提供的每个分区的时间戳开始。 `specific-offsets`:从用户提供的每个分区的特定偏移量开始。 默认选项值group-o.原创 2021-11-24 14:16:42 · 4791 阅读 · 0 评论 -
kafka+zk三台集群问题排查
问题描述: 项目中人大金仓同步工具同步数据增量到kafka集群,无法自动创建topic,以及出现同步到topic时连接失败的问题,经过排查修改配置参数最终解决。 重新安装zk和kafka 操作步骤 1、先把zk和kafka都停掉 三台都执行 zookeeper/bin/zkServer.sh stop 三台都执行 kafka/bin/kafka-server-stop.sh 2、把之前的目录文件都备份删除 mv /data/zkData/data/zkData-bak mv/d..原创 2021-08-31 12:33:19 · 323 阅读 · 0 评论 -
springboot实现读kafka数据写入文件并按指定行数分割文件
1、需求描述 大致需求是这样的,kafka作为数据缓存通道,接收前端设备上传的数据,现在需要实现读取kafka的数据,再保存到文件,但是不能全部写入一个文件,会导致一个文件过大,需要按照指定行数分割文件,按行数是为了方便核对数据量,前端上传了多少数据,kafka接收了多少数据,最终写入文件多少数据。 另外需要说明传入的数据是一个复杂的json字符串,嵌套了很多内容,而且还有图片的base64字...原创 2020-02-28 10:22:38 · 1168 阅读 · 0 评论 -
Kafka单机版本地安装测试
1、下载解压 tar -xzf kafka_2.12-2.4.0.tgz cd kafka_2.12-2.4.0 2、启动zookeeper和server #前台启动 bin/zookeeper-server-start.sh config/zookeeper.properties #后台启动 nohup bin/zookeeper-server-start.sh config/zo...原创 2020-02-27 10:49:27 · 211 阅读 · 0 评论 -
从Apache Kafka读数据写入TimescaleDB的案例
原文链接:https://streamsets.com/blog/ingesting-data-apache-kafka-timescaledb/ 作者:Pat Patterson 2019年5月28日 StreamSets新闻 时间序列数据库 时间序列数据库经过优化,可以处理按时间索引的数据,有效地处理特定时间范围内的数据查询。市场上有几个时间序列数据库,事实上,Data Collect...翻译 2019-06-03 15:45:11 · 1049 阅读 · 0 评论