Pulsar Summit Asia 2020 | 技术探究与运维专场：解析 Pulsar 核心组件，分享运维实践

ApachePulsar

于 2020-11-17 18:00:00 发布

阅读量771

点赞数

文章标签：运维 java 编程语言大数据人工智能

原文链接：https://www.huodongxing.com/event/7568028151222

版权

关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。

关于 Pulsar Summit

Pulsar Summit 是 StreamNative 组织的 Apache Pulsar 社区年度盛会，它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/ CIO、开发者、架构师、数据科学家，以及消息和流计算社区的精英召集在一起。于此盛会，大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识，切磋互动。Pulsar Summit Asia 旨在聚集亚洲地区 Pulsar 开发者和贡献者，促进 Apache Pulsar 在亚洲地区的发展。Pulsar Summit Asia 2020 将于 11 月 28-29 日以线上直播形式开展。

近期我们将陆续对 Pulsar Summit Asia 2020 中英文专场及分论坛议题予以详细介绍，帮助大家更好地了解即将到来的 Pulsar 社区盛会分享什么、有哪些亮点。今天为大家介绍技术探究与操作运维专场演讲。

备注：下面演讲时间及内容不能保证为最终版本，请关注 Pulsar Summit Asia 2020 官网获取最新动态 https://pulsar-summit.org/en/event/asia-2020 。

技术探究：Apache Pulsar 的事务型事件流

丛搏

丛搏是 StreamNative 的软件工程师。在加入 StreamNative 之前，曾工作于智联招聘，负责智联招聘基于 Apache Pulsar 的事件平台开发工作，他对运维方向有深厚的兴趣。

演讲时间：11 月 28 日 13:30-14:10

演讲详情：

Apache Pulsar 提供最高级别的消息分发保证“exactly-once”，通过 Idempotent Producer 在单个分区中实现产生。保证用户通过每个 Idempotent Producer 生成的每条消息都能实现 “exactly-once”语义，没有数据丢失。但是，当 producer 试图向多个分区发送消息时没有“原子性”保证。从 consumer 角度看，acknowledgment 是一项必要的操作，但这会导致消息重新分发，继而 consumer 收到重复的消息。Pulsar 仅保证了 consumer 的 “at-least-once” 消费。当我们用 Pulsar 构建关键应用服务（例如计费服务）时，就会遇到不便和复杂性。

Pulsar 在 2.7.0 版本中引入了对事务的支持，以简化使用 Apache Pulsar 和 Pulsar Function 打造可靠和故障容错服务的过程，其他流处理引擎目前只提供了 end-to-end exactly-once（端到端的“严格一次”）。本次分享将深入 Pulsar transaction（Pulsar 事务）的技术细节，解析 Pulsar transaction 工作原理与机制。

基于 AWS 的基准测试过程与结果：Pulsar 与 Kafka 对比测试

李鹏辉

StreamNative 软件工程师，Apache Pulsar Committer/PMC 成员。李鹏辉曾任职智联招聘，期间他作为主要推动者将 Apache Pulsar 落地智联招聘。他的工作经历始终围绕消息系统和微服务，目前已全力投入到 Pulsar 的世界中。

演讲时间：11 月 28 日 14:10-14:50

演讲详情

Apache Pulsar 与 Kafka 是在流领域最引人关注的两个系统，大家也经常提到两个系统性能之类的话题。我们也很好奇，那就是如果放到同一硬件环境下，Pulsar 和 Kafka 各自表现究竟如何呢？因此，我们团队尝试在同一 AWS 环境下并花费大量时间完成了该测试。很感谢能有这个分享的机会，我将借此分享两个系统的基础测试结果，包括指导大家如何做自己的基准测试，以及在基准测试过程中我们遇到的相关问题。

本基准测试结果包括诸多方面，如有 write throughput（写吞吐）、tailing read throughput、catchup read throughput、publish latency 以及两个系统的 latency end-to-end latency（端到端延迟）。

详解 Pulsar Function：基于 Go 语言的 Apache Pulsar 轻型计算框架

冉小龙

Go 语言爱好者，开源发烧友，Apache Pulsar Committer。目前在 StreamNative 任职高级软件工程师，是 Go Function、Pulsar Go 语言客户端和 Pulsarctl 项目的作者。

演讲时间：11 月 28 日 15:30-16:10

演讲详情：

Apache Pulsar 是下一代云原生分布式消息流系统和实时处理平台。Pulsar Function 作为 Apache Pulsar 的计算组件，是消息和计算平台在无服务器架构（Serverless）方向重要集成与创新。在本环节，我将分享如何基于 Go 语言构建 Pulsar Function。

Pulsar Manager：强大的 Apache Pulsar 界面管理工具

俄广宁

俄广宁是 Apache Pulsar Committer，也是 Apache Pulsar IO 和 Apache Pulsar Manager 的主要贡献者。他目前在 StreamNative 担任高级软件工程师，在云平台、云计算和大数据领域具备丰富经验。

演讲时间：11 月 28 日 16:10-16:50

演讲详情：

Apache Pulsar Manager 是一款管理和监控 Pulsar 的 Web 图形化工具，一个 Pulsar Manager 可以监控管理多个 Pulsar 集群。在本环节中，我将分享为何以及如何安装、部署 Pulsar Manager，并给大家演示 Pulsar Manager 运行 Demo。

要点：

1. 我们为什么开放 Pulsar Manager

2. Pulsar Manager 功能详解

3. 如何安装及部署 Pulsar Manager

4. 如何在 Pulsar Manager 中启动 JWT 并管理 Token

在 Kubernetes 使用 dLocal 部署 Apache Pulsar 实践

郑泓超

郑泓超是 DaoCloud 高级存储工程师，在云原生存储方向具有丰富的经验。他将 Portworx 引入到了 SAIC 和海尔，他也是 Piraeus 云原生存储项目的贡献者。之前，他在 EMC 担任 ScaleIO 技术工程师。

演讲时间：11 月 29 日 16:10-16:50

演讲详情：
Apache Pulsar 通常使用本地持久卷部署以获得最佳性能。但是，Pulsar Operator 自带的本地存储配置器只能进行静态配置。Daocloud dlocal 系统不仅可以执行动态配置，还提供池、容量管理以及对本地存储器进行报警。DaoCloud dlocal 适合在生产环境中运行 Pulsar，所以在本次分享中我将详细介绍这一实践。

Apache Pulsar 企业级生产部署最佳实践（裸机方式）

傅腾

天源迪科大数据研究组长，8 年电信运营商行业经验，曾负责千万级电信项目交付，现负责以大数据为主包含云原生和 AI 等技术研究转化、支撑和咨询等工作。

演讲时间：11 月 29 日 15:30-16:10

演讲详情：

在本环节，我将分享如何去部署一个满足企业级生产要求的 Apache Pulsar 集群（裸机方式），内容涵盖前期、中期、中后期及后期等方向，具体来讲包括前期的集群规划、端口开放、系统检测，中期的最小集群部署、性能测试、基本调优，以及中后期的集群部署、功能测试、监控告警、认证授权和后期的运维管理、多租户管理等方方面面，希望本次分享能让看大家比较全面地熟悉 Apache Pulsar 落地生产环境的全链路思路，更好地在自己生产环境落地 Apache Pulsar。

想和 Pulsar 社区大咖谈笑风生吗？那就快来报名参加 Pulsar Summit Asia 2020 吧！限量免费门票，先到先得，扫描下方二维码、或者点击阅读原文都可以通过活动行平台报名哦☟