Apache Pulsar资讯
ApachePulsar
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。该系统源于 Yahoo,最初在 Yahoo 内部开发和部署,支持 Yahoo 应用服务平台 140 万个主题,日处理超过 1000 亿条消息。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 采用计算与存储分离的分层架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时以及高可扩展流数据存储特性。
展开
-
技术干货:Apache Pulsar 在移动云上的应用
业务背景随着移动云的快速发展,越来越多的客户对云原生消息中间件提出了更多需求,从而可以将主要的精力聚焦在应用程序上,大致有以下方面:快速弹性伸缩,计算和存储资源能够按需扩展,以满足不同流量峰值和存储规格的要求,并且在线扩展时不需要均衡数据提供较高的安全防护,拥有身份认证和授权机制,确保数据的安全性能准确实时地发现问题,支持实例健康、吞吐量、消息堆积等维度的监控同时支持 IPv4/IPv6 双栈环境,满足不同网络环境下的诉求在实例级别做到租户资源隔离,提供更细粒度的安全防护支持跨区域复制服务,原创 2020-11-12 18:35:53 · 1045 阅读 · 9 评论 -
[Pulsar 社区周报] 2020-10-31 ~ 2020-11-06
[Pulsar 社区周报] 2020-10-31 ~ 2020-11-06关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址:http://github.com/apache/pulsar/导语各位小伙伴们,Pulsar 社区周报更新原创 2020-11-12 10:02:18 · 325 阅读 · 0 评论 -
Pulsar Summit Asia 2020 | 场景案例论坛(上):多行业,多场景
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。当前已有众多国内外大型互联网和传统行业公司采用 Apache Pulsar,案例分布在人工智能、金融、电信运营商、直播与短视频、物联网、零售与电子商务、在线教育等多个行业,如美国有线电视网络巨头 Comcas原创 2020-11-11 23:58:54 · 1103 阅读 · 2 评论 -
祝贺 StreamNative 团队成员 Jennifer 当选 Apache Pulsar PMC 成员
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。当前已有众多国内外大型互联网和传统行业公司采用 Apache Pulsar,案例分布在人工智能、金融、电信运营商、直播与短视频、物联网、零售与电子商务、在线教育等多个行业,如美国有线电视网络巨头 Comcas原创 2020-11-11 11:51:02 · 474 阅读 · 0 评论 -
Pulsar Summit Asia 2020 | 主题演讲:大咖呈现,紧扣社区
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。当前已有众多国内外大型互联网和传统行业公司采用 Apache Pulsar,案例分布在人工智能、金融、电信运营商、直播与短视频、物联网、零售与电子商务、在线教育等多个行业,如美国有线电视网络巨头 Comcas原创 2020-11-10 21:44:08 · 584 阅读 · 0 评论 -
Pulsar Summit Asia 2020 中文专场议题出炉!
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。关于 Pulsar SummitPulsar Summit 是 StreamNative 组织的 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contr原创 2020-11-10 15:48:40 · 317 阅读 · 0 评论 -
Pulsar 社区周报| 2020-10-17 ~ 2020-10-23
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址:http://github.com/apache/pulsar/导语各位小伙伴们,Pulsar 社区周报更新来啦!首先祝贺 Apache Pulsar 新增两位贡献卓越的 commi原创 2020-10-30 18:24:55 · 340 阅读 · 0 评论 -
Apache Pulsar 正式引入 Cloud Storage Sink 连接器:实现 Apache Pulsar 数据上云
越来越多的企业选择将数据存储到云平台中。对于大部分软件体系结构而言,“数据上云”至关重要。将数据迁移上云,有助于降低企业采购软硬件的成本,减少监控、管理工作,提供较大存储容量。而且,云存储支持数据备份,保护数据免受勒索软件的侵害。许多 Pulsar 用户选择将数据存储在各种云平台中,例如 Amazon Simple Storage Service(Amazon S3)或 Google Cloud Storage(Google GCS)等。如果没有统一的应用程序将主题级别的数据迁移到云存储,Pulsar 用原创 2020-10-30 17:22:29 · 474 阅读 · 0 评论 -
Pulsar 与 Kafka 全方位对比(上篇):功能、性能、用例
本文为《Pulsar vs. Kafka — Part 1 — A More Accurate Perspective on Performance, Architecture, and Features》中文译文版本。原文首发于:https://streamnative.io/blog/tech/2020-07-08-pulsar-vs-kafka-part-1越来越多的消息平台开始采用实时流技术,这大大促进了 Pulsar 的发展。2020 年,Pulsar 受到持续关注,多家媒体争相报道;从《财原创 2020-10-30 13:06:12 · 2031 阅读 · 2 评论 -
2020 OSCAR 云计算开源产业大会,Apache Pulsar 通过可信开源项目评估
10 月 16 日,2020 OSCAR 云计算开源产业大会在北京顺利举办,本次大会由中国信息通信研究院主办,云计算标准和开源推进委员会承办。大会云集众多开源社区与开源专家,吸引了行业广泛关注。Apache Pulsar 通过可信开源项目评估为规范开源项目健康发展,同时为用户企业选择开源软件提供有力参考,从 2019 年开始,中国信息通信研究院针对企业开源治理能力发布了一系列的规范和标准,并启动了 OSCAR 开源治理类评估工作。主办方在现场发布了 2020 年度 OSCAR 开源治理评估结果,包括开源原创 2020-10-21 21:12:24 · 608 阅读 · 0 评论 -
Pulsar 社区周报|2020-10-10 ~ 2020-10-16
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址:http://github.com/apache/pulsar/导语各位小伙伴们,Pulsar 社区周报更新来啦!本次 Pulsar 社区周报,为大家呈现 Pulsar client原创 2020-10-21 21:04:40 · 309 阅读 · 0 评论 -
译文|Apache Pulsar 如何保证消息不丢不重?
原作者为 Ivan Kelly。经作者许可,我们对博客进行翻译并发布。人们在探讨流处理引擎(stream processing engine, SPE)时,经常会提到 effectively-once(或 exactly-once)保证。一般情况下,较大的数据管道包含多个组件,而管道中的任何组件都有可能发生故障,SPE 通常只是其中一个小组件。如果用户希望数据管道提供 effectively-once 保证,则管道中的其他(非 SPE)组件需要提供相应的保证。本文介绍 Apache Pulsar 可以实翻译 2020-10-15 19:41:12 · 953 阅读 · 0 评论 -
Pulsar 社区周报|2020-09-26 ~ 2020-10-09
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址:http://github.com/apache/pulsar/导语各位小伙伴们,Pulsar 社区周报带着假期期间的更新来啦!本次 Pulsar 社区周报,为大家呈现 Pulsar原创 2020-10-14 20:43:57 · 312 阅读 · 0 评论 -
Pulsar 社区周报|2020-09-19 ~ 2020-09-25
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址:http://github.com/apache/pulsar/导语各位小伙伴们是否度过了一个难忘的假期?不知我们为大家准备的假期充电专栏,有没有让你在休闲之余也电量满满?伴随大家从长原创 2020-10-09 18:26:32 · 300 阅读 · 0 评论 -
对比测试:Apache Pulsar 与 Kafka 在金融场景下的性能分析
背景Apache Pulsar 是下一代分布式消息流平台,采用计算存储分层架构,具备多租户、高一致、高性能、百万 topic、数据平滑迁移等诸多优势。越来越多的企业正在使用 Pulsar 或者尝试将 Pulsar 应用到生产环境中。腾讯把 Pulsar 作为计费系统的消息总线来支撑千亿级在线交易。腾讯计费体量庞大,要解决的核心问题就是必须确保钱货一致。首先,保证每一笔支付交易不出现错账,做到高一致、高可靠。其次,保证计费承载的所有业务 7*24 可用,做到高可用、高性能。计费消息总线必须具备这些能力。原创 2020-10-09 15:27:47 · 603 阅读 · 0 评论 -
StreamNative 宣布开源 MoP:Apache Pulsar 支持原生 MQTT 协议
我们很高兴地宣布 StreamNative 开源了 “MoP”(MQTT on Pulsar)。MoP 将 MQTT 协议处理插件引入 Pulsar broker。这样一来,Apache Pulsar 就可以支持原生 MQTT 协议。与 KoP 相似,MoP 是一种可插拔的协议处理插件。将 MoP 协议处理插件添加到现有 Pulsar 集群后,用户不用修改代码就可以将现有的 MQTT 应用程序和服务迁移到 Pulsar。这样 MQTT 应用程序就可以利用 Pulsar 的特性,例如 Apache Pul原创 2020-09-29 16:34:14 · 1600 阅读 · 0 评论 -
专访 PMC,开源项目 Apache Pulsar 如何挑战 Kafka?
本专访是开源中国 OSChina 对 StreamNative 联合创始人兼CTO、Apache Pulsar PMC 翟佳的采访内容,由开源中国首发。在本采访中,主要介绍了 Apache Pulsar 作为云原生流数据工具在消息处理领域的优势特性、与 Kafka 的一些对比概要以及 StreamNative 公司的介绍和发展方向。开源流数据公司 StreamNative 近期宣布完成数百万美元 Pre-A 轮融资,日前正式加入 CNCF。其创始团队成员是 Apache Pulsar、Apache B.转载 2020-09-28 09:05:39 · 1100 阅读 · 0 评论 -
Pulsar 社区周报 2020-09-12 ~ 09-18
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。导语各位小伙伴们,Pulsar 社区周报来啦!本周 Pulsar 社区周报,为大家呈现 Pulsar client、broker、transaction、bookie、security 等内容,帮助社区小原创 2020-09-24 10:44:59 · 316 阅读 · 0 评论 -
译文|Apache Pulsar 的分层存储
在一些流数据用例场景中,用户希望将数据长时间存储在流中。虽然 Apache Pulsar 对 topic backlog 的大小没有限制,但将所有数据存储在 Pulsar 中较长时间,存储成本比较大。本文介绍了 Apache Pulsar 的分层存储特性(在 2.1 及之后的版本可用),分层存储支持在不影响终端用户的条件下,将较旧的数据移动到长期存储中。在推荐服务中,开发者不希望限制 backlog 的大小。以音乐服务为例,终端用户每听一首歌,就向 topic 中添加一条消息。使用这一 topic 训练翻译 2020-09-23 02:15:10 · 595 阅读 · 0 评论 -
年度开源盛会 ApacheCon 来临,Apache Pulsar 专场大咖齐聚
简介ApacheCon 是 Apache 软件基金会举办的年度社区盛会,汇聚众多 Apache 项目与社区成员,交流思想、共话协作,大会议题从大数据到机器学习、Web 框架等都有覆盖,是了解和熟悉未来科技发展趋势的绝佳窗口。2020 年 ApacheCon 大会全程线上举办,从 9 月 29 日到 10 月 1 日,会议共持续 3 天。Apache Pulsar 作为 Apache 软件基金会顶级项目,在本次大会开设了 Apache Pulsar 专场论坛。专场详情:https://apacheco原创 2020-09-22 22:38:05 · 310 阅读 · 0 评论 -
Pulsar 社区周报:08-22 ~ 09-04
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。导语各位小伙伴们,Pulsar 社区周报来啦!本次 Pulsar 社区周报,为大家呈现 Pulsar transaction、broker、metrics、client 等方面内容,帮助社区小伙伴们掌握原创 2020-09-10 10:59:15 · 272 阅读 · 0 评论 -
开源流数据公司 StreamNative 宣布完成数百万美元 Pre-A 轮融资,源码资本领投
开源流数据公司 StreamNative 宣布完成数百万美元 Pre-A 轮融资,源码资本领投Apache 顶级项目 Pulsar 背后的 开源流数据公司 StreamNative 宣布完成数百万美元 Pre-A 轮融资,本轮融资由源码资本领投。StreamNative 在创立初期即获得红杉中国种子基金天使轮投资,在本次 Pre-A 轮红杉中国种子基金继续跟投。StreamNative(北京原流数据科技发展有限公司,简称为 StreamNative),成立于 2019 年初,是一家开源基础软件公司。原创 2020-08-13 14:27:41 · 625 阅读 · 0 评论