ApachePulsar-CSDN博客

原创演讲回顾｜Apache Pulsar x AI Agent：智能系统消息基础架构

在数据架构层面，Pulsar 实现了与数据湖生态的深度融合。这实现了统一存储，单份数据可同时支持通过 Pulsar 的流式访问和通过数据湖的批处理。这些设计的关键技术在于解决 Agent 间状态（state）的持久化问题，并通过消息队列缓冲保障交互的稳定性。：采用对等的多副本无主架构，所有副本地位平等，避免了主从同步延迟。相比 Kafka 等需要数据搬迁的架构，Pulsar 的存算分离能更快响应流量洪峰。：支持百万级 Topic 的自动创建与回收，非常适合 AI 对话等临时会话场景，实现了运维简化。

2026-01-23 18:07:21 678

原创演讲回顾｜Apache Pulsar 在大规模分区环境下的指标收集实践

为指标数据写入的堆外内存区域设置了明确的上限。在分区数量庞大（例如十几万）且消费者众多的业务场景下（常见于实时模型管道，单一用户行为可能影响多个模型输出，导致客户端数量激增），若开启全量精细指标（如订阅级别）采集，将可能引发严重问题。第四，在采用 OpenTelemetry 进行关联分析时，必须确保将正确的上下文信息注入到指标中，避免指标与日志处于游离状态，无法关联。第五，对于字典映射表，更新时应以追加新增为主，避免直接删除旧条目，以防止在字典表新旧版本切换的时间窗口内，数据解析出现错乱导致误告警。

2026-01-21 18:00:33 284

转载演讲回顾｜谙流科技翟佳：Apache Pulsar 助力车企数字化转型

面对昂贵的专线带宽，Pulsar的跨地域复制进行了深度优化。凭借这种架构创新， Pulsar两获InfoWorld年度最佳开源软件奖，与Apache Spark、Flink等顶级项目同享殊荣，标志着其在消息流领域实现了对传统技术范式的突破，提供了融合性的云原生解决方案，并获得了广泛的开源用户与商业客户认可。结合其高效的云原生存算分离架构，Pulsar在实践中被验证能够显著提升硬件资源利用率，相比传统方案以更少的资源支撑更大的业务负载，从而在提供强大功能的同时，实现了总体拥有成本的优化。

2026-01-18 18:01:51 29

转载 1月31日！Pulsar 与您相约 OceanBase 社区嘉年华

Apache Pulsar 作为一个高性能、分布式的发布-订阅消息系统，正在全球范围内获得越来越多的关注和应用。如果你对分布式系统、消息队列或流处理感兴趣，欢迎加入我们！1 月 31日，OceanBase 社区嘉年华。扫码加入 Pulsar 社区交流群。你期待的科技盛宴，正在加载——

2026-01-15 18:02:37 36

原创演讲回顾｜Apache Pulsar 在腾讯云上的高可用性最佳实践

这样，系统在为某个主题（Topic）的 Ledger 选择 BookKeeper 节点存储副本时，便会依据这些机架信息，自动将多个副本分散到不同的可用区中，从根源上避免了数据全集中在单一机房的风险。所有这些策略的目标是一致的：在协调服务（ZK）不可靠时，优先“冻结”系统的元数据状态，全力保障最核心的数据平面（消息读写）的稳定运行，待 ZK 恢复后再处理积压的元数据变更。通过建立集群间安全的网络联通，将这部分“堆积”在上海集群的消息，异步地回写（补偿）到广州集群，确保消息不丢失，最终实现数据状态的一致。

2026-01-15 18:02:37 684

转载彩蛋｜Apache Pulsar 2025 年度开发报告

2025 年，我们共计攻克了 194 个功能（新特性 24 个，功能增强 170 个），其中重要新功能有 15 个，覆盖消息协议、管理运维、存储、可观测性、Topic/分区、性能优化及连接/网络等领域。2025 年的 51 周里，Apache Pulsar 社区共合并 PR 1642 个，处理 ISSUE 403 个，发布版本 23 个。新的一年，让我们继续携手前进，拥抱新技术、新场景、新实践，继续把 Pulsar。延迟优化：发布延迟、ML 写延迟等关键指标监控。并发问题得到系统性解决（23 个 fix）

2026-01-10 18:00:24 40

转载第二届开源产业大会专题分论坛“数字游民·OPC：重塑全球个人创新力与数字生产力”

Apache Pulsar 作为一个高性能、分布式的发布-订阅消息系统，正在全球范围内获得越来越多的关注和应用。本次论坛聚焦“数字游民 ×OPC”，围绕个人生产力、全球协作与城市创新展开深度讨论，探索数字经济时代的新型生产方式与协作范式。就像 Linux 不仅是内核更是开源的图腾，Notion 不仅是笔记更是游民的大脑，“数字游民·OPC论坛””重塑全球个人创新力与数字生产力，当开源、人工智能与全球流动叠加，人类正。数字游民如何形成可信、可结算的全球协作网络。城市如何成为个人创新力的“加速器”

2026-01-10 18:00:24 38

转载 Pulsar 社区邀您关注第二届开源产业生态大会！

曾在日本高盛投资公司、日本Aladream公司、上海吉柴信息科技有限公司等知名企业担任高管。：模速空间、沐曦股份、红帽、壹号湾科创研究院、PROPELLER 飞湃创新、普华基础软件、上海临港新片区国际投资发展有限公司、华东师范大学、上海交通大学、复旦大学、上海对外经贸大学、东华大学、上海电力大学、上海电机学院、上海杉达学院。，正高级工程师，长期在集团型企业从事信息化建设和数字化转型工作，拥有在电气装备制造、工业智能制造、自动化仪表等产业领域的企业管理、信息化建设、智能制造、数字化转型等方面的丰富经验。

2026-01-10 18:00:24 122

原创演讲回顾｜中原银行开源消息中间件的落地实践

在架构上，存算一体的模式导致扩展性弱，计算和存储资源无法独立扩展，只能通过手动添加节点来实现，操作笨拙且不灵活。中原银行于 2017 年在香港上市，并在 2022 年合并三家地方银行后，总资产突破 1.4 万亿元，获得了包括福布斯“世界最佳银行”、“年度十佳城市商业银行”在内的多项荣誉，成为中部地区具有重要影响力的商业银行。，核心设计思想是能力分层。例如，银行每月 15 日左右的贷款催收业务会形成规律性的消息高峰，平台通过分析历史数据预测这一趋势，提前自动扩容计算资源，从而预防消息积压，保障业务平稳运行。

2026-01-08 18:00:52 773

转载漫谈 AI Infra｜消息队列在 AI 时代能做什么？（下）

每个分区内的顺序是有保障的，消息在消费时不会被移除，这就是kafka专注的stream（流）场景，它提供了高吞吐量和分区的严格排序，这使得它非常适合处理有序的事件流。：是 Pulsar 的一种 Topic 类型，是“不落盘、纯内存” 的消息通道——数据不会写入磁盘、不会做副本复制，Broker 宕机或进程重启即丢失，因此极致轻量、低延迟，适合“可丢、可重试、要快、要大量”的短时消息场景。然后，在越来越多的 AI 场景，需要两者兼具，因为 AI 代理在实时环境中观测，同时必须执行可靠的操作。

2025-12-26 18:01:02 52

转载漫谈 AI Infra｜消息队列在 AI 时代能做什么？（上）

其他的消息队列系统往往对单条消息的大小有严格限制（例如，Kafka 默认单条消息上限约 1 MB，调参后虽可放大，但需权衡副本同步压力），这迫使开发者在传输大文件时采用复杂的变通方案，如将文件存储在对象存储中，然后在消息中只传递文件的路径或 URL。在许多场景中，不同模态的数据在时间上存在紧密的依赖关系。为了充分利用昂贵的计算资源，必须确保数据能够以足够快的速度被加载到每个计算节点的内存中，如果数据供给速度跟不上模型消耗数据的速度，就会有大量时间浪费在等待数据上，即所谓的“数据饥饿”问题。

2025-12-25 18:11:18 43

转载上海｜开源创新黑客松来袭！限时报名！

作为数字迁徙浪潮中的连接者，我们始终致力于打破地域边界，为全球开发者与数字游民打造真正的无边界协作场景，与200+顶尖极客共筑开源生态新未来！面向“超级个体（Super Individual）”的新型创新主体，推动开源技术与数字工具深度融合，系统性放大个人在创作、研发、服务与跨境协作中的生产力，探索“一人即组织、一人即产品”的数字经济新形态。A：我们追求技术与创意的平衡。就像 Linux 不仅是内核更是开源的图腾，Notion 不仅是笔记更是游民的大脑，开源创新黑客松让你的技术能力转化为生态价值，

2025-12-25 18:11:18 149

转载赋能 12 寸晶圆制造：应用材料基于 Apache Pulsar 构建新一代 CIM Message Bus

Pulsar 凭借其卓越的高吞吐与低延迟能力，稳健地承载了工厂的数据洪流，确保每一道工艺参数、每一个设备状态都能被实时捕捉与分发，使实时过程控制、毫秒级异常侦测与精准的良率分析成为可能，它不仅修复了传统系统的缺陷，更以前瞻性的架构，为工厂接纳未来更高速的传感器、更复杂的 AI 模型以及更广泛的全球协作铺平了道路。计算层无状态，易于弹性伸缩；例如，华为云 IoT 平台基于 Pulsar 构建的核心消息引擎，已稳定运行超五年，有效支撑了亿级设备连接和百万级 TPS 的数据流转，证明了其在极端场景下的可靠性。

2025-12-16 17:00:26 62

转载 110 亿美元豪赌数据流，IBM 收购 Confluent 开启 AI 时代新赛道？

在成本控制上，其独创的分层存储（Tiered Storage）功能，能自动将冷数据从昂贵的 SSD 卸载到对象存储（如S3），在保证毫秒级读取热数据的同时，将海量历史数据的存储成本降低一个量级，这对 AI 时代需要留存和回溯全量训练数据的场景至关重要。面对 AI 浪潮下实时数据需求的爆发式增长，IBM 选择以 110 亿美元将数据流平台 Confluent 收入囊中，这不仅仅是 IBM 在云计算和 AI 领域的关键落子，更可能预示着消息流技术赛道的新机会。分区一旦增加便无法减少，也限制了系统的灵活性。

2025-12-12 17:30:36 70