Pulsar介绍
ApachePulsar
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。该系统源于 Yahoo,最初在 Yahoo 内部开发和部署,支持 Yahoo 应用服务平台 140 万个主题,日处理超过 1000 亿条消息。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 采用计算与存储分离的分层架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时以及高可扩展流数据存储特性。
展开
-
2020 OSCAR 云计算开源产业大会,Apache Pulsar 通过可信开源项目评估
10 月 16 日,2020 OSCAR 云计算开源产业大会在北京顺利举办,本次大会由中国信息通信研究院主办,云计算标准和开源推进委员会承办。大会云集众多开源社区与开源专家,吸引了行业广泛关注。Apache Pulsar 通过可信开源项目评估为规范开源项目健康发展,同时为用户企业选择开源软件提供有力参考,从 2019 年开始,中国信息通信研究院针对企业开源治理能力发布了一系列的规范和标准,并启动了 OSCAR 开源治理类评估工作。主办方在现场发布了 2020 年度 OSCAR 开源治理评估结果,包括开源原创 2020-10-21 21:12:24 · 608 阅读 · 0 评论 -
专访 PMC,开源项目 Apache Pulsar 如何挑战 Kafka?
本专访是开源中国 OSChina 对 StreamNative 联合创始人兼CTO、Apache Pulsar PMC 翟佳的采访内容,由开源中国首发。在本采访中,主要介绍了 Apache Pulsar 作为云原生流数据工具在消息处理领域的优势特性、与 Kafka 的一些对比概要以及 StreamNative 公司的介绍和发展方向。开源流数据公司 StreamNative 近期宣布完成数百万美元 Pre-A 轮融资,日前正式加入 CNCF。其创始团队成员是 Apache Pulsar、Apache B.转载 2020-09-28 09:05:39 · 1100 阅读 · 0 评论 -
Pulsar 与 Kafka 全方位对比(上篇):功能、性能、用例
越来越多的消息平台开始采用实时流技术,这促进了 Pulsar 的使用与发展。在 2020 年,Pulsar 的受关注度与使用量都有了显著增加。从《财富》百强企业到有前瞻性的初创团队,凡是开发消息平台和事件流应用程序的公司都对 Pulsar 保持关注,一直在激励着 Pulsar 的发展,并且,围绕 Pulsar 项目的生态也有了迅猛发展,近期多家媒体也在对此争相报道。最近的新闻和博客文章都在客观地介绍 Pulsar,读者可以清晰地了解 Pulsar 的性能及用例。Verizon Media、Iterable原创 2020-08-13 11:52:27 · 8916 阅读 · 1 评论 -
KoP 正式开源:在 Apache Pulsar 上支持原生 Kafka 协议
我们很高兴地宣布 StreamNative 和 OVHcloud 开源了 “KoP“(Kafka on Pulsar)。KoP 将 Kafka 协议处理插件引入 Pulsar broker。这样一来,Apache Pulsar 就支持原生 Apache Kafka 协议。将 KoP 协议处理插件添加到现有 Pulsar 集群后,用户不用修改代码就可以将现有的 Kafka 应用程序和服务迁移到 Pulsar。这样,Kafka 应用程序就可以使用 Pulsar 的强大功能,例如:利用企业级多租户特性简化运.原创 2020-07-14 11:14:40 · 1776 阅读 · 1 评论 -
为什么选择 Apache BookKeeper?(第 2 部分)
原作者:Sijie Guo翻译: StreamNative——Sijia在前一篇文章中,我介绍了 Apache BookKeeper 如何保证其持久性、一致性、高可用与低延迟。希望前一篇文章能够为你选择 BookKeeper 作为实时工作负载存储平台提供支持。在本文中,我将会介绍 Apache BookKeeper 一系列具有竞争力的功能,主要包括 I/O 隔离、数据分布、可扩展性与可操作性。I/O 隔离可预测的低延迟对实时应用程序而言十分重要,特别是关键在线服务(例如:核心业务服务、数据库等)。以翻译 2020-07-10 16:35:57 · 506 阅读 · 0 评论 -
为什么选择 Apache BookKeeper?(第 1 部分)
原作者:Sijie Guo翻译: StreamNative——SijiaApache BookKeeper 针对实时工作负载进行了优化,是可扩展、可容错、低延迟的日志存储服务。BookKeeper 最初由雅虎研究院(Yahoo! Research)开发,而后于 2011 年作为 Apache ZooKeeper 的子项目孵化,最终在 2015 年 1 月作为 Apache 的顶级项目问世。自最初引入以来,诸如 Twitter、Yahoo!、Salesforce 等公司广泛使用 BookKeeper 在多翻译 2020-07-10 16:31:45 · 528 阅读 · 0 评论 -
Apache BookKeeper 简介
原作者:Sijie Guo翻译:StreamNative——SijiaApache BookKeeper 是企业级存储系统,旨在保证高持久性、一致性与低延迟。Pulsar 由雅虎研究院(Yahoo! Research)开发,旨在实现 Hadoop 分布式文件系统(HDFS)NameNode 的高可用,在此之前,NameNode 不具备高可用特性,存在单点故障的问题。自 2011 年起,BookKeeper 开始在 Apache ZooKeeper 下作为子项目孵化,并于 2015 年 1 月作为顶级项目翻译 2020-07-10 16:27:04 · 2102 阅读 · 0 评论 -
选择 APACHE PULSAR 而非 KAFKA 的另外 5 个原因
原作者:Chris Bartholomew翻译:StreamNative——Sijia前段时间,我在一篇博客中提到了选择 Apache Pulsar 而不是 Apache Kafka 的 7 个原因。之后我一直在准备一份比较 Kafka 和 Pulsar 的详细报告,并一直与 Pulsar 开源项目的用户交谈,同时也与我们托管的 Pulsar 服务 —— Kafkaesque 的用户交谈。我发现上一篇文章中我遗漏了一些原因。所以,我特地写了本篇后续,进行补充。在补充之前,我们先来快速回顾一下上一篇文章翻译 2020-07-10 16:23:18 · 499 阅读 · 1 评论 -
基于 Pulsar Functions 的事件处理设计模式
原作者:David Kjerrumgaard翻译:StreamNative——Sijia本文将介绍一些常见的实时流式传输模式及其实现。模式 1:动态路由首先回顾一下如何使用 Apache Pulsar Functions 实现基于内容的路由。基于内容的路由是一种集成模式。该模式已经存在多年,通常用于事件中心和消息框架中。基本思路是检查每条消息的内容,根据消息内容将消息路由到不同目的地。下面的例子使用了Apache Pulsar SDK,SDK 允许用户配置三个不同的值:用于在消息中查找匹配的翻译 2020-07-10 16:19:09 · 902 阅读 · 0 评论 -
一张图表告诉你谁对 Apache Pulsar 感兴趣
原作者:Ben Lorica、Jesse Anderson翻译:StreamNative——Sijia多层架构、可扩展、多租户和持久性只是众多公司选择 Pulsar 的一部分原因。企业通过越来越多的系统和设备生成数据,消息传递和事件流解决方案也(尤其是 Apache Kafka)得以广泛使用。在过去的一年里,我们一直在追踪 Apache Pulsar(以下简称 Pulsar)的进展。虽然 Pulsar 是一个后起新秀,但的确是个功能强大的解决方案。Pulsar 由 Yahoo 研发并开源,旨在智能地处翻译 2020-07-10 16:04:18 · 354 阅读 · 0 评论 -
Apache Pulsar 的访问模式与分层存储
原作者:Ivan Kelly翻译:StreamNative——Sijia之前我们谈到了 Apache Pulsar 如何利用 BookKeeper 多副本的工作方式以及 BookKeeper 中不同的 I/O 模式。本文将讨论在 Pulsar 中多副本怎样与不同的 I/O 模式交互,以及 Pulsar 如何通过这种交互实现分层存储等。从本质上看,Pulsar 采用分层架构,而这种分层架构使得每种 I/O 模式都可以独立工作,因此读写之间永远不会相互干扰。分层还简化了以与 Pulsar 完全集成的方式添加翻译 2020-07-10 16:00:05 · 676 阅读 · 0 评论 -
Pulsar IO 简介
翻译:StreamNative——SijiaApache Pulsar 是业界领先的消息系统。使用消息系统时,一个较为常见的问题就是:将数据移入或移出消息平台的最佳方法是什么?当然,用户可以使用 Pulsar 的 consumer 和 producer API 编写自定义代码,来传输数据。但除此之外,是否还有其他方法呢?以下为用户提出的一些相关问题:要将数据发布到 Pulsar 或使用 Pulsar 中的数据,我应该在哪里运行相应程序?要将数据发布到 Pulsar 或使用 Pulsar 中的数据,翻译 2020-07-10 15:58:40 · 902 阅读 · 0 评论 -
深入理解之 Apache Pulsar Connector 与 Partition 关系篇
在前几篇文章中,我们已经介绍了 Connector 与 Function 的关系、在 Function Worker 中如何选举等。其中都涉及到了对 Producer 和 Consumer 的应用。本篇文章我们就来尝试学习一下 pub/sub 模型与 Partition 的关系。Partition下面是官方文档对 Partition 的描述:通常一个 Topic 仅被一个 Broker ...原创 2019-12-25 11:50:18 · 1371 阅读 · 0 评论 -
Pulsar Kafka Client 简单介绍
摘要为了方便 Kafka 用户使用 Pulsar,Pulsar 对 Kafka Client 作了一些封装,让 Kafka 用户更方便的使用 Pulsar。本篇内容主要介绍 Kafka Client 如何将消息发送到 Pulsar, 并从 Pulsar 消费消息,以及如何使用 Pulsar Schema。引入依赖<dependency> <groupId>org....原创 2019-11-29 20:57:25 · 736 阅读 · 0 评论 -
Pulsar IO 中 Schema 的调用流程
背景Pulsar Connector 系列的前几篇文章已介绍了 Source、Sink 与 Producer、Consumer 的关系。内建的 Source 封装了 Consumer、内建的 Sink 封装了 Producer,因此,Source 与 Sink 是对 pub/sub 模式的一个深层次的应用。Pulsar 在与其他系统集成时,Schema 帮助 Pulsar 保留了数据在其他系统...原创 2019-11-29 19:31:25 · 779 阅读 · 0 评论 -
Pulsar Functions Worker 的选举机制
摘要在 Pulsar 中,Function、Source 和 Sink 都是运行在 Function Worker 上的,关于 Function 的内容可以参考一篇文章了解 Pulsar Functions,关于 Source 和 Sink 的使用可以参考Pular Source 入门篇Pular Sink 入门指南。本文介绍了 Functions Worker 的选举机制。阅读本文可以...原创 2019-11-29 19:23:30 · 663 阅读 · 0 评论 -
深入理解 Apache Pulsar Connector 与 Functions 的关系
阅读本文需要约 10 分钟。背景知识Connector:Apache Pulsar 的连接器,包括 Source 和 Sink 两个组件。Functions:Apache Pulsar 的轻量级计算组件。Instance 架构使用 pulsar-admin source、pulsar-admin sink 或 pulsar-admin function 命令操作 Source、Sin...原创 2019-11-29 19:17:27 · 686 阅读 · 0 评论 -
如何使用 Apache Flume 发送日志数据至 Apache Pulsar
Apache Flume 是一个分布式的、可靠易用的系统,可以有效地收集和汇总来自多种源系统的大量日志数据,或转移这些数据至一个数据中心存储。Apache Pulsar 是 Yahoo 基于 Apache BookKeeper 开发和开源的下一代分布式消息系统。Apache Pulsar 已经从下一代分布式消息系统演化成为一个流原生数据平台。本文主要介绍使用 Flume 实现日志搜集,并发送日...原创 2019-10-12 13:28:52 · 1070 阅读 · 0 评论 -
Pulsar Source 入门篇
阅读本文需要约 5 分钟。Apache Pulsar 是一个分布式发布订阅的消息系统。Source 是 Pulsar 的一个组件,用来将其他系统的数据输入至 Pulsar。摘要本文介绍 Apache Pulsar Source 的基础知识,例如,Source 的常用命令、环境搭建以及使用示例。Source 常用命令create创建 source。参数解释-...原创 2019-10-12 11:48:18 · 870 阅读 · 0 评论 -
在 Spark SQL 和 Spark Structured Streaming 中使用 Pulsar
**????️大纲提要:**你可以使用 Pulsar Spark Connector 读取 Pulsar 的数据,并将结果写回 Pulsar。本文介绍 Pulsar Spark Connector 的使用方法。????Pulsar Spark Connector 在 2019 年 7 月 9 日开源,源代码与用户指南参见这里。配置环境以下示例使用 Homebrew 包管理器在 macOS 下载和安装软件...原创 2019-10-11 11:43:00 · 922 阅读 · 0 评论 -
基于 Apache Pulsar 和 Apache Spark 进行批流一体的弹性数据处理
本文介绍了以 Pulsar 做流数据平台,使用 Spark 进行批流一体数据处理的编程实践。(阅读本文需要约 15 分钟)批流现状在大规模并行数据分析领域,AMPLab 的『One stack to rule them all』提出用 Apache Spark 作为统一的引擎支持批处理、流处理、交互查询和机器学习等常见的数据处理场景。 2017 年 7 月,Spark 2.2.0 版本正式推...原创 2019-10-11 11:36:59 · 768 阅读 · 0 评论 -
简介Apache Pulsar-下一代分布式消息系统
Matteo Merli & Karthik Ramasamy 译 薛命灯 原文链接Apache Pulsar(孵化器项目)是一个企业级的发布订阅(pub-sub)消息系统,最初由Yahoo开发,并于2016年底开源,现在是Apache软件基金会的一个孵化器项目。Pulsar在Yahoo的生产环境运行了三年多,助力Yahoo的主要应用,如Yahoo Mail、Yahoo Fina...转载 2018-08-19 23:15:07 · 1154 阅读 · 0 评论