Apache Pulsar

转载 腾讯将 Apache Pulsar 应用于Apache InLong 的技术实践

本文由 StreamNative 整理自 ApacheCon Asia 2022 上腾讯工程师陈林的分享《腾讯将 Apache Pulsar 应用于Apache InLong 的技术实践》。本文将介绍什么是 Apache InLong，Apache Pulsar 如何应用于 InLong，腾讯数据平台团队针对 Apache Pulsar 做了哪些优化，并展示在腾讯安全、腾讯视频在集群运营等一线实践...

转载 Apache Pulsar 在⽹易有道智慧教育场景下的实践

本文由 StreamNative 整理自 Pulsar Summit Asia 2022，来自网易有道基础架构工程师沈家琦的分享《Apache Pulsar 在⽹易有道智慧教育场景下的实践》。本文主要介绍 Apache Pulsar 在网易有道的建设实践经验，以及在智慧教育领域的业务落地经验。关于 StreamNativeStreamNative（北京原流数据科技发展有限公司）由 Apache P...

转载 打通 Apache Pulsar 与 Envoy，构建高效游戏 OTO 营销平台实践

文章摘要本文整理自 Pulsar Summit Asia 2022 上腾讯互娱 GDP 微服务开发平台网关技术负责人江烁的演讲《打通 Apache Pulsar 与 Envoy，构建高效游戏 OTO 营销平台实践》。本文将介绍介绍腾讯互娱利用 Apache Pulsar 和 Envoy 运营游戏 OTO 营销平台的经验。作者简介江烁，腾讯互娱 GDP 微服务开发平台网关技术负责人。关于腾讯互娱腾讯...

转载 打造消息中台，华为终端云基于 Apache Pulsar 的演进实践

‍‍文章摘要华为云终端将消息系统从 Kafka 迁移到 Pulsar，并基于 Pulsar 打造中台应对消息系统面临的挑战。本文整理自 ApacheCon Asia 2022 上，来自华为终端的林琳、王小童关于《华为终端云基于 Apache Pulsar 的消息队列演进》的分享，将介绍 Apache Pulsar 在华为终端云中台建设部署实践的过程中面临的挑战与解决方案。作者简介•林琳，华为终端...

转载 详解 Apache Pulsar 消息生命周期

文章摘要本文整理自 Pulsar Summit Asia 2022 腾讯云高级研发工程师冉小龙的演讲《Deep Dive into Apache Pulsar Lifecycle》。Apache Pulsar 中抽象了 Topic 来承载用户发送的消息，一条消息发送到 Topic 中之后会经过 Broker 的计算存储到 Bookie 中。本文将详细阐述消息是如何发送到 Broker 并经过 Br...

转载 技术探究｜Pulsar 消费者基于正则表达式订阅方式的改进

改进 Pulsar 消费者基于正则表达式的订阅方式 本文翻译自 StreamNative 博客《Improving Regular Expression-Based Subscriptions in Pulsar Consumers》。译者简介钟颖群，微信大数据团队成员，从事大数据基础架构服务建设。深入研究基于正则表达式的订阅目前，Pulsar 客户端有两种方式来创建消费者：1.指定需要消费的主题...

原创 案例实践｜运营腾讯游戏，Proxima Beta 使用 Apache Pulsar 升级团队协作与数据治理...

文章摘要本文整理自 Pulsar Summit Asia 2022 上，Proxima Beta 软件工程师施磊的分享《How to achieve better team integration and data governance by using Apache Pulsar》。本文首先将为大家介绍 CQRS 和 Event Sourcing 概念，便于了解为何 Proxima Beta 使...

原创 Function Mesh：流处理任务的 Serverless 化实践

文章摘要本文整理自 ApacheCon Asia 上，StreamNative 工程师付睿的分享《Use Apache Pulsar Functions in a Cloud-Native way》。本文将介绍在云原生环境中使用 Pulsar Functions 的实践，以及基于 Pulsar Functions 和 Kubernetes 的项目 Function Mesh。希望本文可以为 Pul...

原创 StreamNative 宣布开源 Iceberg Sink Connector for Apache Pulsar

本文翻译自 StreamNative 博客《Announcing the Iceberg Sink Connector for Apache Pulsar》。作者陈航，StreamNative 主管工程师，Apache Pulsar PMC 成员。译者简介钟颖群，微信大数据团队成员，从事大数据基础架构服务建设。我们很高兴地宣布适用于 Apache Pulsar 的 Iceberg Sink 连接器...

转载 议题征集 | Pulsar Summit 2023 欧洲峰会正式启动！

近日，Pulsar Summit 组织组织方 StreamNative 宣布：Pulsar Summit 2023 欧洲峰会将于 5 月 23 在线上召开。演讲议题征集已开启，欢迎提交 Pulsar 演讲内容，与 Apache Pulsar 专家面对面交流。往期峰会回顾Pulsar Summit 是 Apache Pulsar 社区年度盛会，Apache Pulsar 社区成员与消息和流计算社区的...

原创 Apache Pulsar 的湖仓一体方案：Pulsar-Lakehouse 分层存储集成详解

文章摘要本文整理自 ApacheCon Asia 2022 上 StreamNative 工程师陈航的演讲《Make Apache Pulsar as Lakehouse: Introduction Lakehouse Tiered Storage Integration for Pulsar》。本文将介绍将 Apache Pulsar 二级存储与 Lakehouse 集成的湖仓一体解决方案。作者...

转载 技术探究｜基于 Apache Pulsar 构建实时数据仓库

文章摘要本文整理自 ApacheCon 2022 上 StreamNative 工程师杨子棵、刘德志的分享《Build One Real-time WareHouse Based on Apache Pulsar》。本文将介绍数仓架构的演进与挑战、Apache Pulsar 架构以及 Pulsar 作为云原生消息队列能否满足实时数仓的要求，然后分享基于 Apache Pulsar、Apache F...

转载 开工大吉：与 Apache Pulsar 社区成员相约 2023 QCon·北京站

关于 QConQCon 是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会，每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自 2007 年 3 月份开始举办以来，已经有超万名有多年从业经验的技术人员参加过 QCon 大会。QCon 内容源于实践并面向社区，演讲嘉宾依据热点话题，面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。QCon 北京 2023｜全...

转载 视频回顾 | Pulsar Summit Asia 2022 40+ 议题

Pulsar Summit Aisa 2022 已于 2022 年 11 月 19-20 日在线上顺利举办。在两天的大会里，来自中国大陆、印度、新加坡、北美、欧洲等区域的 41 位 Apache Pulsar 社区专家与贡献者共同分享一线 Apache Pulsar 实践经验、场景案例、技术探究和运维故事，交流探讨 Pulsar 项目最新进展和动态。Pulsar Summit Asia 2022 ...

转载 Apache Pulsar 2023 动态展望

作者介绍李鹏辉，StreamNative 首席架构师，Apache Pulsar PMC 成员。拥有十余年消息系统与微服务工作经验。其近期工作方向和 Apache Pulsar 息息相关，曾于 2019 年推动 Pulsar 在智联招聘的落地，这是 Apache Pulsar 在中国的首个落地案例。导语新的一年已经开始，Apache Pulsar 在 2023 年可能发生怎样的进化呢？本文为大家介...

转载 Apache Pulsar 之 2022

相关阅读•Apache Pulsar 2021 年度盘点•Apache Pulsar 2020 年度总结

转载 Apache Pulsar 祝大家元旦快乐

转载 StreamNative 宣布发布 Flink-Pulsar SQL 连接器

本文翻译自 StreamNative 博客《Announcing the Flink-Pulsar SQL Connector》，作者 Yufei Zhang。本文译者：王中兴，就职于 ebay 消息中间件团队，社区昵称 alphawang。StreamNative 宣布 Flink-Pulsar SQL 连接器已经发布，现在即可下载并使用。Flink-Pulsar SQL 连接器支持通过简单的 ...

转载 Function Mesh 基于 KubeVela addon 为应用提供 Serverless 能力

什么是 Function Mesh ？Function Mesh 是一个 Serverless 框架，专门为流处理（stream processing）应用而设计。它基于 Pulsar Functions 和 Pulsar IO Connectors 为用户的应用及复杂的流处理任务提供了强大的事件流（event-streaming）编排和处理能力。Function Mesh 以一种更云原生的方式使...

原创 AoP：如何从 RabbitMQ 迁移到 Apache Pulsar

本文翻译自 StreamNative 博客《How to Migrate from RabbitMQ to Apache Pulsar™》，作者 David Kjerrumgaard。本文译者 @dros6（https://github.com/dros6），译文由 StreamNative 组织整理。RabbitMQ 是一个流行的开源消息系统，被广泛用于使用发布-订阅模型的异步服务间通信。Rab...

转载 技术探究｜深入了解 Apache Pulsar 中的主题数据生命周期

本文翻译自 StreamNative 博客《A Deep Dive into the Topic Data Lifecycle in Apache Pulsar》，作者陈航，Apache Pulsar PMC 成员，StreamNative 主管工程师。译者信息译者：何城波，就职于深信服 PaaS 平台部，负责 Pulsar、Kafka、Elasticsearch 相关运维开发工作Apache P...

转载 StreamNative 宣布 Spring for Apache Pulsar 正式发布

译者信息王中兴，就职于 ebay 消息中间件团队，社区昵称 alphawang。我们很高兴地宣布Spring for Apache Pulsar[1]的第一个里程碑版本已发布，现在你可以在 Spring 应用程序里直接利用 Apache Pulsar 的强大能力。我们先来看一下 Apache Pulsar 与 Spring 集成带来的好处，然后通过示例应用程序讲解如何进行集成。为什么使用 Sp...

转载 技术探究｜了解 Apache Pulsar 之美——简单优雅的单条消息确认

本文翻译自 StreamNative 博客 《The Beauty of Apache Pulsar: Individual Message Acknowledgment》，作者 Asaf Mesika，StreamNative 首席工程师。译者信息王中兴，就职于 ebay 消息中间件团队，社区昵称 alphawang。作为一个云原生分布式消息和流平台，Apache Pulsar[1]提供了许多...

转载 一文带你了解 Pulsar Broker 负载均衡

作者简介赵亚军，StreamNative Solution Engineer。导语Apache Pulsar 采用了计算和存储分离的分布式架构，其友好的弹性伸缩能力颇受广大用户欢迎。Pulsar 除了存储层的分片架构规避了历史数据平衡的缺陷，计算层 Broker 的负载均衡模块也在弹性伸缩过程以及资源调节中发挥着重要的作用。本文将带大家揭开 Pulsar Broker 负载均衡的神秘面纱。原理介绍...

转载 技术探究｜深度解析 Apache Pulsar 内存使用原理

作者简介赵亚军，StreamNative Solution Engineer。导语Apache Pulsar 中大量使用了 Java 的堆内内存、直接内存和系统的 Page Cache 等内存概念。为了帮助大家在性能调优和问题定位中更清晰地理解这些概念和使用各种内存，本文将为大家详细介绍 Apache Pulsar 中的内存使用原理、推荐配置并进行简单的验证测试。基本概念Pulsar 中的 Bro...

原创 10 分钟了解 Pulsar：针对 Kafka 用户的指南

本文翻译自 StreamNative 博客《Understanding Pulsar in 10 Minutes: A Guide for Kafka Users》，作者 Elliot West，StreamNative 软件工程师。本文由 StreamNative 组织翻译。译者简介王中兴，社区昵称 AlphaWang，就职于 eBay 消息中间件。本文将结合你现有的 Apache Kafka ...

转载 技术探究｜深入解析 Apache Pulsar 双阶段删除协议的工作原理

文章摘要本文整理自 ApacheCon Asia 2022 大会上，StreamNative 工程师赵延的分享《深入探究 Apache Pulsar 双阶段删除协议的工作原理》。目前，Apache Pulsar 对于数据的删除存在两个步骤，即删除元数据与实际存储数据。由于这两个步骤互相分开，我们无法保证实际存储数据一定能被删除，因此可能存在元数据已删除而实际存储数据依然存在的现象。现有 Pulsa...

原创 观看入口｜ Pulsar Summit Asia 2022 Day 2 英文专场 正在直播

大会介绍Apache Pulsar 社区年度峰会 Pulsar Summit Aisa 2022 于 2022 年 11 月 19-20 日线上举办。大会分为主论坛和分论坛，汇聚技术大咖和行业先行者分享 Apache Pulsar 实践经验、场景案例、技术探究和运维故事，交流探讨 Pulsar 项目最新进展和动态。大会第二天为英文演讲。在今天的英文演讲中，分享议题聚焦在 Apache Pulsar...

原创 观看入口｜ Pulsar Summit Asia 2022 Day 1 分论坛热播

大会介绍Apache Pulsar 社区年度峰会 Pulsar Summit Aisa 2022 已于 2022 年 11 月 19 日线上启动。大会分为主论坛和分论坛，汇聚技术大咖和行业先行者分享 Apache Pulsar 实践经验、场景案例、技术探究和运维故事，交流探讨 Pulsar 项目最新进展和动态。大会第一天为中文专场，来自腾讯、华为、vivo、中国移动、字节跳动、微信、科大讯飞、St...

转载 即将直播 | Pulsar Summit Asia 2022 峰会最新议程

关于 Pulsar SummitPulsar Summit 是 Apache Pulsar 社区年度盛会，它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家，以及消息和流计算社区的精英召集在一起。于此盛会，大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识，切磋互动。大会介绍Pu...

转载 致谢 | Pulsar Summit Asia 2022 合作伙伴

关于 Pulsar SummitPulsar Summit 是 Apache Pulsar 社区年度盛会，它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家，以及消息和流计算社区的精英召集在一起。于此盛会，大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识，切磋互动。Pulsar...

原创 议题预告 | Pulsar Summit Asia 2022：Day 2 - 英文演讲

关于 Pulsar SummitPulsar Summit 是 Apache Pulsar 社区年度盛会，它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家，以及消息和流计算社区的精英召集在一起。于此盛会，大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识，切磋互动。Pulsar...

转载 直播预约 | Pulsar Summit Asia 2022：Day 1 - 分论坛4：生态与解决方案专场（转发有奖）...

关于 Pulsar SummitPulsar Summit 是 Apache Pulsar 社区年度盛会，它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家，以及消息和流计算社区的精英召集在一起。于此盛会，大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识，切磋互动。Pulsar...

转载 直播预约 | Pulsar Summit Asia 2022：Day 1 - 分论坛3：技术探究专场

关于 Pulsar SummitPulsar Summit 是 Apache Pulsar 社区年度盛会，它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家，以及消息和流计算社区的精英召集在一起。于此盛会，大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识，切磋互动。Pulsar...

转载 案例推荐｜服务 50+ 业务线，Apache Pulsar 在科大讯飞 SRE 的探索与实践

本文整理自 8 月 Apache Pulsar Meetup 上的分享。科大讯飞是中国最大的智能语音技术提供商，在中文语音合成、语音识别、口语评测等多项技术上拥有国际领先的成果。2022 年 3 月，科大讯飞正式将 Pulsar 上线。本文将介绍经历一年多的测试与评估，科大讯飞为何选择 Pulsar；如何利用 SRE 保障体系将 Pulsar 从 0 到 1 落地；内部的监控与参数优化与 Puls...

转载 案例直播 | Pulsar Summit Asia 2022：Day 1-分论坛2 字节跳动、腾讯云、微信、华为云等（转发有奖）...

关于 Pulsar SummitPulsar Summit 是 Apache Pulsar 社区年度盛会，它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家，以及消息和流计算社区的精英召集在一起。于此盛会，大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识，切磋互动。Pulsar...

转载 案例直播 | Pulsar Summit Asia 2022：Day 1 - 分论坛 1：腾讯、华为、有道、vivo、科大讯飞...

关于 Pulsar SummitPulsar Summit 是 Apache Pulsar 社区年度盛会，它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家，以及消息和流计算社区的精英召集在一起。于此盛会，大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识，切磋互动。Pulsar...

转载 社区盛会 | Pulsar Summit Asia 2022 议程全览

关于 Pulsar SummitPulsar Summit 是 Apache Pulsar 社区年度盛会，它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家，以及消息和流计算社区的精英召集在一起。于此盛会，大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识，切磋互动。大会介绍Pu...

转载 技术探究｜使用 Connector 将 Pulsar Topic 中的数据 Sink 到 Lakehouse 存储

文章摘要本文整理自 ApacheCon Asia 2022 上，StreamNative 工程师张勇题为《Another Way for Intergrating Pulsar and Lakehouse: Connector for Sinking Pulsar Topic Data into the Lakehouse Storage》的分享，介绍如何使用 Connector 将 Pulsar...

转载 技术探究｜Apache Pulsar Tenant 和 Namespace 级别限速使用与实现

背景Apache Pulsar 是一个分布式的消息中间件，作为大数据场景下的一个重要的组件 Pulsar 被广泛应用于不同组件或平台之间传输数据。Pulsar 设计之初就采用了计算存储分离的架构，特别适合进行云原生的改造，对于消息中间件来说流量是最重要的一个指标，其相应的 Pulsar 云原生产品也是根据流量制定不同规格的产品，以满足用户的不同需求。在底层的构建过程中，要想实现以流量划分规格，就需...