Pulsar干货
文章平均质量分 93
ApachePulsar
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。该系统源于 Yahoo,最初在 Yahoo 内部开发和部署,支持 Yahoo 应用服务平台 140 万个主题,日处理超过 1000 亿条消息。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 采用计算与存储分离的分层架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时以及高可扩展流数据存储特性。
展开
-
Pulsar vs Kafka,CTO 如何抉择?
本文作者为 jesse-anderson。内容由 StreamNative 翻译并整理。本文以三个实际使用场景为例,从 CTO 的视角出发,在技术等方面对比 Kafka 和 Pulsar...原创 2021-01-19 19:30:00 · 2498 阅读 · 8 评论 -
Pulsar 社区周报| 2020-10-17 ~ 2020-10-23
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址:http://github.com/apache/pulsar/导语各位小伙伴们,Pulsar 社区周报更新来啦!首先祝贺 Apache Pulsar 新增两位贡献卓越的 commi原创 2020-10-30 18:24:55 · 340 阅读 · 0 评论 -
Apache Pulsar 正式引入 Cloud Storage Sink 连接器:实现 Apache Pulsar 数据上云
越来越多的企业选择将数据存储到云平台中。对于大部分软件体系结构而言,“数据上云”至关重要。将数据迁移上云,有助于降低企业采购软硬件的成本,减少监控、管理工作,提供较大存储容量。而且,云存储支持数据备份,保护数据免受勒索软件的侵害。许多 Pulsar 用户选择将数据存储在各种云平台中,例如 Amazon Simple Storage Service(Amazon S3)或 Google Cloud Storage(Google GCS)等。如果没有统一的应用程序将主题级别的数据迁移到云存储,Pulsar 用原创 2020-10-30 17:22:29 · 474 阅读 · 0 评论 -
Pulsar 与 Kafka 全方位对比(上篇):功能、性能、用例
本文为《Pulsar vs. Kafka — Part 1 — A More Accurate Perspective on Performance, Architecture, and Features》中文译文版本。原文首发于:https://streamnative.io/blog/tech/2020-07-08-pulsar-vs-kafka-part-1越来越多的消息平台开始采用实时流技术,这大大促进了 Pulsar 的发展。2020 年,Pulsar 受到持续关注,多家媒体争相报道;从《财原创 2020-10-30 13:06:12 · 2031 阅读 · 2 评论 -
Pulsar 社区周报|2020-10-10 ~ 2020-10-16
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址:http://github.com/apache/pulsar/导语各位小伙伴们,Pulsar 社区周报更新来啦!本次 Pulsar 社区周报,为大家呈现 Pulsar client原创 2020-10-21 21:04:40 · 309 阅读 · 0 评论 -
译文|Apache Pulsar 如何保证消息不丢不重?
原作者为 Ivan Kelly。经作者许可,我们对博客进行翻译并发布。人们在探讨流处理引擎(stream processing engine, SPE)时,经常会提到 effectively-once(或 exactly-once)保证。一般情况下,较大的数据管道包含多个组件,而管道中的任何组件都有可能发生故障,SPE 通常只是其中一个小组件。如果用户希望数据管道提供 effectively-once 保证,则管道中的其他(非 SPE)组件需要提供相应的保证。本文介绍 Apache Pulsar 可以实翻译 2020-10-15 19:41:12 · 953 阅读 · 0 评论 -
Pulsar 社区周报|2020-09-26 ~ 2020-10-09
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址:http://github.com/apache/pulsar/导语各位小伙伴们,Pulsar 社区周报带着假期期间的更新来啦!本次 Pulsar 社区周报,为大家呈现 Pulsar原创 2020-10-14 20:43:57 · 312 阅读 · 0 评论 -
Pulsar 社区周报|2020-09-19 ~ 2020-09-25
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址:http://github.com/apache/pulsar/导语各位小伙伴们是否度过了一个难忘的假期?不知我们为大家准备的假期充电专栏,有没有让你在休闲之余也电量满满?伴随大家从长原创 2020-10-09 18:26:32 · 300 阅读 · 0 评论 -
Pulsar 社区周报 2020-09-12 ~ 09-18
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。导语各位小伙伴们,Pulsar 社区周报来啦!本周 Pulsar 社区周报,为大家呈现 Pulsar client、broker、transaction、bookie、security 等内容,帮助社区小原创 2020-09-24 10:44:59 · 316 阅读 · 0 评论 -
译文|Apache Pulsar 的分层存储
在一些流数据用例场景中,用户希望将数据长时间存储在流中。虽然 Apache Pulsar 对 topic backlog 的大小没有限制,但将所有数据存储在 Pulsar 中较长时间,存储成本比较大。本文介绍了 Apache Pulsar 的分层存储特性(在 2.1 及之后的版本可用),分层存储支持在不影响终端用户的条件下,将较旧的数据移动到长期存储中。在推荐服务中,开发者不希望限制 backlog 的大小。以音乐服务为例,终端用户每听一首歌,就向 topic 中添加一条消息。使用这一 topic 训练翻译 2020-09-23 02:15:10 · 595 阅读 · 0 评论 -
Pulsar 社区周报:08-22 ~ 09-04
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。导语各位小伙伴们,Pulsar 社区周报来啦!本次 Pulsar 社区周报,为大家呈现 Pulsar transaction、broker、metrics、client 等方面内容,帮助社区小伙伴们掌握原创 2020-09-10 10:59:15 · 272 阅读 · 0 评论 -
Pulsar 与 Kafka 全方位对比(上篇):功能、性能、用例
越来越多的消息平台开始采用实时流技术,这促进了 Pulsar 的使用与发展。在 2020 年,Pulsar 的受关注度与使用量都有了显著增加。从《财富》百强企业到有前瞻性的初创团队,凡是开发消息平台和事件流应用程序的公司都对 Pulsar 保持关注,一直在激励着 Pulsar 的发展,并且,围绕 Pulsar 项目的生态也有了迅猛发展,近期多家媒体也在对此争相报道。最近的新闻和博客文章都在客观地介绍 Pulsar,读者可以清晰地了解 Pulsar 的性能及用例。Verizon Media、Iterable原创 2020-08-13 11:52:27 · 8916 阅读 · 1 评论 -
基于 Pulsar Functions 的事件处理设计模式
原作者:David Kjerrumgaard翻译:StreamNative——Sijia本文将介绍一些常见的实时流式传输模式及其实现。模式 1:动态路由首先回顾一下如何使用 Apache Pulsar Functions 实现基于内容的路由。基于内容的路由是一种集成模式。该模式已经存在多年,通常用于事件中心和消息框架中。基本思路是检查每条消息的内容,根据消息内容将消息路由到不同目的地。下面的例子使用了Apache Pulsar SDK,SDK 允许用户配置三个不同的值:用于在消息中查找匹配的翻译 2020-07-23 11:52:15 · 420 阅读 · 0 评论 -
如何使用 OpenTracing 和 Jaeger 追踪 Pulsar 消息
OpenTracing 是针对应用程序和 OSS(Open-Source Software)软件包的开放分布式追踪标准。许多追踪后端服务都支持 OpenTracing API,例如 Jaeger、Zipkin 和 SkyWalking。本文详细介绍如何使用 Jaeger 通过 OpenTracing API 追踪 Pulsar 消息。准备工作在开始前,需要安装好 JDK 8、Maven 3 和 Pulsar(集群模式或单机模式)。如果还没有安装 Pulsar,点击这里按照提示进行安装。第 1 步:启原创 2020-07-14 10:53:08 · 576 阅读 · 0 评论