KaiwuDB 数据库

原创 【无标KaiwuDB CTO 魏可伟：差异化创新，面向行业的多模架构题】

KaiwuDB CTO 魏可伟受邀于 2024 可信数据库发展大会主论坛发表演讲《多模一库 —— KaiwuDB 的现代数据库架构探索》，KaiwuDB 2.0 版本全新发布

原创 咦？KaiwuDB 有大事要说？

KaiwuDB 给可信数据库加点猛料

原创 一等奖！KaiwuDB & 西电联合成果又创佳绩

KaiwuDB 与西安电子科技大学、浪潮软件集团提报的“云原生数据库相关联合研发成果”荣获一等奖

原创 深度解析 PostgreSQL Protocol v3.0（三）— 流复制（上）

PostgreSQL 支持 COPY 操作，COPY 操作通过流复制协议（Streaming Replication Protocol）实现。数据从客户端传输到服务器端。数据从服务器端传输到客户端。服务器端和客户端数据可以双向传输。COPY-IN 和 COPY-OUT 操作分别将连接切换到一个不同于正常命令处理的子协议中，该子协议一直持续到操作完成；不同于 COPY-IN 和 COPY-OUT 模式，COPY-BOTH 模式是从狭义上定义的流复制协议，我们将上述统一称为流复制协议。

原创 KaiwuDB 事务中的 Raft 协议

Raft 协议是一种经典的分布式一致性算法，KaiwuDB 事务即是通过使用该协议来实现数据的一致性，本文主要介绍选举和日志提交两大主要过程.

原创 大咖专栏 | AI 时代下，我们可以拥有怎样的数据库？

KaiwuDB 引入原生 AI，期望借此帮助用户减负增效。本期主要和大家重点分享 KaiwuDB 的 AI 应用思路和具体实践

原创 数据库物理计划执行指南

数据库物理计划执行是解决数据库性能问题的重要手段之一，通过对数据库物理结构进行合理规划和优化，可显著提高数据库的查询速度、降低存储空间的占用率，从而提高数据库整体性能。

原创 KaiwuDB 受邀出席中国智能化油气管道与智慧管网技术交流大会

KaiwuDB 受邀亮相第十三届中国智能化油气管道与智慧管网技术交流大会，浪潮院士、山东浪潮数据库技术有限公司总经理、KaiwuDB 董事长张晖发表主题演讲。

原创 Query 物理计划构建指南

一文了解物理计划结构核心概念及详细构建流程

原创 国际顶会认可！KaiwuDB 论文入选 ICDE 2024

KaiwuDB 与中国人民大学合作的论文FOSS: A Self-Learned Doctor for Query Optimizer被数据库领域顶会The 40th IEEE International Conference on Data Engineering (ICDE 2024)录用

原创 智慧管网 | “数字大脑”加速“能源动脉”新升级

原创 又出新方案的 KaiwuDB 2024-05-16 18:20 上海。

原创 KaiwuDB 参编的《分析型数据库技术要求》标准正式发布

KaiwuDB 作为一款分布式、多模融合、支持原生 AI 的数据库产品，支持时序数据、关系型数据采、存、算、管及数据跨模分析，将自适应时序引擎、事务处理引擎、预测分析引擎、内存实时引擎等多种计算引擎深度融合，助力广大企业用户完成从数据管理到业务场景分析的落地实践。分析型数据库作为数据库产品的重要分支，承担对数据进行在线统计、在线分析、即席查询等发掘信息数据价值的工作。该标准确立了分析型数据库的参考模型，规定了核心能力和支撑能力要求，适用于分析型数据库系统的设计、开发、测试、评估、运维、管理等。

原创 KaiwuDB 解析器之语义解析

解析器是数据库系统的重要组成部分之一，主要的功能是将客户端输入的 SQL 语句分解为语法单元，然后将这些语法单元转化成数据库内部可识别的数据结构，最终生成数据库可以执行的计划。从客户端输入一个 SQL 指令（文本格式），数据库执行器无法直接执行该文本指令，会先通过词法解析和语法解析将文本指令生成数据库能识别的数据结构 AST；语义解析对 AST 进行有效性校验，生成优化器需要的 Memo 数据结构；通过优化器（包括 RBO、CBO）优化后选出一个最优的 Memo 结构；

原创 KaiwuDB 受邀亮相 IOTE2024 演讲，顺便领了个奖

受邀亮相 IOTE2024 大会并发表主题演讲，向全球 5 万余名与会者介绍浪潮研发的新一代工业物联数据基座 — 分布式多模数据库 KaiwuDB 及物联网场景解决方案，旨在将先进数据技术引入实体经济领域，促进数字化转型和智能化升级。

原创 一文解读 SQL 生成工具

SQL 生成工具可用于测试 Parser 与其他数据库产品的兼容性，通过解析 YACC 语法文件中的产生式，生成对应的 SQL 语句，再使用数据库执行该 SQL，根据结果判断语句是否与其他数据库语法兼容。

原创 KaiwuDB CTO 魏可伟：AIoT，用行业定义数据库

魏可伟表示，当今中国乃至全球数据库市场上，从业者习惯于以技术定义数据库产品，例如关系型数据库、OLAP 数据库、时序数据库、图数据库、向量数据库等等，用以分门别类地应对不同类型的数据管理诉求；KaiwuDB 是一款分布式、多模、支持云边端协同的数据库产品，以 AIoT 为一大核心场景，提供高性能、高可用、高兼容、高扩展的数据管理服务及能力，旨在以现代数据库架构，与前沿智能化技术的融合创新赋能工业物联网、数字能源、车联网、智慧产业等新兴数字领域，助力我国传统产业从容步入 IoT 时代。

原创 KaiwuDB 数据库故障诊断工具详解

数字化时代，数据是企业最宝贵的资产之一。然而，随着数据量的增长，数据库管理的复杂性也在不断上升。数据库故障可能导致业务中断，给公司带来巨大的财务和声誉损失。在本篇博客中，我们将分享 KaiwuDB 是如何设计故障诊断工具以及具体的示例演示。

原创 KaiwuDB 乱序数据处理功能解读

在处理乱序数据时，指定时间窗口内（比如 10 分钟或 1 小时）的乱序数据会根据去重策略处理之后存储下来，时间窗口之外的乱序数据会被丢弃。下图是乱序数据写入的基本流程：时间窗口是指表最新数据时间戳的时间点再前置的一段时间，在表没有新数据的写入时，它的时间窗口不会变。配置文件中存在参数：ts_st_iot_disorder_interval，用以支持乱序数据写入的时间窗口，单位：秒。此配置项的值不能超过分区时间间隔数值。

原创 数据库系统访问控制面面观

信息系统安全是保护信息系统中各类型数据资源免受未经授权的访问（包括查看、新增、修改、删除），确保数据完整性、保密性和可用性。在当下万物互联的发展背景下，信息安全尤其重要。访问控制作为信息安全的重要组成部分，既可对用户访问信息系统进行身份鉴别，又可细粒度控制用户对信息的访问权限。数据库作为信息系统的基础软件，承担着数据存储的责任，需要保证信息的完整性、保密性和可用性，就需要进行严格的访问控制。以下为部分内容节选，点击视频查看完整版内容。

原创 KaiwuDB 分布式系统 Range Split & Merge 原理详解

Range（分区）是一种数据库管理组织数据的技术。在分布式系统中，我们可将数据按照一定规则分成多个 Range 进行组织，通过分裂（Split）和合并（Merge）来实现动态管理，用以优化查询性能，并帮助提升系统的扩展性、可用性及负载均衡。本期直播的主要内容即为：KaiwuDB 分布式系统里 Range 的分裂（Split) 与合并 (Merge)。

原创 基于 Ractor 模型优化事务复制回放性能

当扫描线程发现可回放的事物后，会将事物 ID 加入 txnList 执行 enqueu 操作，加入事物 ID 后，扫描线程会执行 notify 操作，唤醒正在睡眠的回放线程进行事务回放操作，示意图参考如下图 2。过去发现的可回放事务都会被加入到 txnList 中，现在发现的可回放事务正在由回放线程进行回放，将来发现的可回放事务是由扫描线程扫描 UUID 进行发现的。当可回放事务全部回放结束后，认为回放结束。可回放事务分为 3 类，过去发现的可回放事务/现在发现的可回放事务/将来发现的可回放事务。

原创 KaiwuDB 拿下“物联之星”双项殊荣

2023年，基于对 AIoT 垂直场景需求的深入探索，KaiwuDB 先后推出工业物联网场景解决方案、离散制造业解决方案、数字能源解决方案等，并在工业互联网大数据中心、国网山东综能、奇瑞青岛的重点系统落地部署，大幅提升系统数据实时处理和数据价值挖掘的能力，实现以数据驱动的政府治理效率、企业生产运营效率的有质提升。未来，KaiwuDB 也将持续挖掘物联网衍生的场景需求，助力企业实现管理精细化、决策科学化和服务高效化，以领先的数据运管能力拥抱物联网时代。

原创 Kepler 参数化查询优化方法

本文主要介绍了发布于 2023 年 SIGMOD 的论文《Kepler: Robust Learning for Faster Parametric Query Optimization》，该文章针对参数化查询，将参数化查询优化与查询优化结合，旨在减少查询规划时间的同时提高查询性能。

原创 基于学习的参数化查询优化方法

参数化查询是指具有相同模板，且只有谓词绑定参数值不同的一类查询，它们被广泛应用在现代数据库应用程序中。它们存在反复执行动作，这为其性能优化提供了契机。然而，当前许多商业数据库处理参数化查询的方法仅仅只优化查询中的第一条查询实例（或用户指定的实例），缓存其最佳计划并为后续的查询实例重用。该方法虽然优化时间至最小化，但由于不同查询实例的最佳计划不同，缓存计划的执行可能是任意次优的，这在实际应用场景中并不适用。大多数传统优化方法需对查询优化器进行许多假设，但这些假设通常不符合实际应用场景。

原创 ThreadPool 模式设计与流程演示

本期我们将和大家分享 ThreadPool 模块设计。该模式能够提高系统资源的使用效率，通过重复利用已创建线程避免频繁创建和销毁线程对系统资源的消耗，可保持系统执行大量高并发任务时的性能稳定，通过 ThreadPool 模式可实现统一资源管理，简化编程接口。

原创 数据集成时表模型同步方法解析

数据治理的第一步，也是数据中台的一个基础功能 — 即将来自各类业务数据源的数据，同步集成至中台 ODS 层。业务数据源多种多样，单单可能涉及到的主流关系型数据库就有近十种。功能更加全面的数据中台通常还具有对接非关系型数据库、消息队列、日志源、文件源等功能。数据湖通常是 OLAP 型的数据库，虽然中台系统很少会采用多种数据仓库技术，但在技术选型时，可选项也有很多。数据集成可实现多种异构数据库间的数据同步，想要提升数据中台的易用高效性，自动表模型同步则显得至关重要。

原创 KaiwuDB × 风电企业 | 高性能、低成本、释放数据价值

随着平台接入风场数量日益增长，数据量激增，数据库存储、计算和管理成本负担也愈发沉重，急需一套行之有效的数据库改造与升级方案，用以加快 AI 智能化风电业务发展建设。借助 KaiwuDB “就地计算”强大分析算力，全方位支撑 AI 分析，进行精细化运维，实现了风电场故障“早预测、早判断、早介入”，降低了 30% 以上人工成本。现有风电数据仅用于存储监测，数据分析能力缺失且无法对接常用 AI 算法平台，严重阻碍数据全量分析预测价值释放，以及 AI 智能化风电业务的发展建设进程。

原创 SQL 解析与执行流程

在先前的技术博客中，我们已经详细介绍过数据库的 parser 模块与执行流程：用户输入的 SQL 语句通过词法解析器生成 token，再通过语法分析器生成抽象语法树（AST），经过 AST 生成对应的 planNode，最后执行 planNode。本期博客我们将以新增语法为例，重点介绍一条 SQL 语句需要历经的流程，以及如何自定义 SQL 语句和功能。

原创 KaiwuDB 受邀亮相“ACDU 中国行”数据库技术沙龙（西安站）

依托内置预测分析引擎，KaiwuDB 具备感知上层应用负载变化能力并从过往的运行轨迹中主动学习，致力于解决数据库开发和运维高度依赖 IT 人员专业经验的现状，推动实现数据库的“自动驾驶”；与此同时，充分满足了 AIoT 场景多样化的预测分析需求以支撑用户决策。本次沙龙由来自 CCF 数据库专委会、国内数据库领域头部企业、墨天轮社区等业内专家大咖全方位解读了现代数据库核心技术与架构、时下成熟的智能运维方案、行业创新应用及最佳实践，并与高校、伙伴探讨了如何推动产教结合，加快中国数据库产业核心人才培养。

原创 基于图神经网络的动态物化视图管理

然而，在实际场景中，查询工作负载通常是动态变化的，因此，由于查询分布可能发生变化，以前维护的 MVs 不能很好地适应未来的工作负载。因此，这篇论文建议随着新的工作负载的到来，不断迭代地更新 MVs，以应对不断出现的可能的分布转移的查询，这样所有的查询都可以在一段时间内得到很好的优化。其次，给定特征编码，这篇论文还需要对查询节点和 MV 节点进行适当的表示（或嵌入），以便模型能够很好地捕捉它们之间的关系，从而准确地估计每个 B(q，v)。然而，随着大量工作负载的到来，图变得越来越大，整个图的推断非常耗时。

原创 SQL 解析 — 如何轻松实现新增语句

KaiwuDB 支持多种不同类型的 SQL 语句，例如 create、insert 等。本文将介绍在 KaiwuDB SQL Parser（下文统称解析器）中添加新语句的过程及其实现。我们将了解如何使用 goyacc 工具更新解析器，以及执行器和查询计划器（planner）如何协同执行这条语句。添加新的 SQL 语句需要从向 SQL 解析器添加必要的语法开始。解析器是通过 goyacc 生成的，它是流行的 yacc 编译器的 Go 版本。语法定义位于 pkg/sql/parser/sql.y 文件中。

原创 KaiwuDB 又双叒叕获奖啦

原创 KaiwuDB 时序引擎数据去重功能详解

但由于插入的数据是乱序的，可能存在如下图乱序时间窗口 2 内的乱序，大于（正在插入的数据时间戳 - 乱序时间窗口）记录会存储在（正在插入的数据时间戳 - 乱序时间窗口）时间戳的前面，算法 1 就不能遍历到。乱序数据的处理是基于乱序时间窗口来做的，乱序时间窗口指表最新数据时间戳的时间点一直到往前的一段时间的时间范围，每个表的时间窗口都不一样，如果表没有新数据的写入，则它的时间窗口不会变。如图中所示，写入以存储的最新数据的时间戳作为分割线，往后的数据都是顺序数据范围，而分割线之后的数据都是乱序数据。

原创 KaiwuDB 连续三年荣获开源中国“优秀开源技术团队”

开源中国（OSCHINA）成立于2008年8月，是国内著名的开源技术社区。KaiwuDB 是一款分布式、多模融合、支持原生 AI 的数据库产品，拥有“就地计算”重点技术，具备高速写入、极速查询、SQL 支持、随需压缩、智能预计算、订阅发布、集群部署等特性，具有稳定安全、高可用、易运维等特点。KaiwuDB 始终坚信开源与创新的力量，长期以来，KaiwuDB在开源社区坚持分享数据库有关技术，旨在让更多开发者深入了解、学习及应用数据库与其技术，为未来数据库行业的创新与发展做出更好的推动。

原创 KaiwuDB × 国网山东综能 | 分布式储能云边端一体化项目建设

同时，KaiwuDB 将继续加强与行业伙伴之间的合作，共同打造更多云边端一体化建设的可行方案，为安全储能提供坚实保障。：KaiwuDB 提供时序引擎+关系引擎的能力，分别对储能场景中的传感器数据（温度、湿度等）、电力数据（电池等）、器械控制状态值数据（空调等）等时序数据，设备信息、业务数据等关系数据进行统一汇聚与纳管；大量分布式光伏并网，在输出清洁电力的同时，也给台区配电系统带来了低压用户过电压、配变上送重过载等问题，影响电网的安全稳定运行，同时也制约该区域光伏容量进一步增长。，有效延缓了配电网建设投入。

原创 2023 ACDU 中国行 · 西安站 | 数据库技术发展及实践

由中国数据库联盟联合等单位共同主办，特邀为本次活动的指导单位。作为中国数据库联盟的品牌活动之一，在线下汇集数据库领域的行业知名人士，共同探讨数据库前沿技术及其应用，促进行业发展和创新，同时也为开发者们提供一个友好交流的平台。受邀亮相本次活动，为大家带来主题演讲。赵老师将围绕，从场景痛点、技术解析、应用案例等多维度展开剖析，为大家展示如何将技术转化为生产力，以及如何利用多样技术为企业带来创新和竞争优势。

原创 KaiwuDB 获评信通院 2023 大数据“星河”标杆案例

在“基于 KaiwuDB 的台区云储能示范项目”中，以“Powered by KaiwuDB”为核心理念研发的“一体化分布式储能系统”高度集成 PCS、BMS 等元件，配备基于 KaiwuDB 分布式多模数据库的浪潮边缘控制设备，实现每秒百万级时序数据记录写入，实时计算与分析能力可达到毫秒级响应，降低储能场景的决策时延，提升储能柜对电网的综合调节能力，具备高性能、高安全、长寿命等突出优势，大大降低系统施工运维成本。未来，KaiwuDB 将继续加速推进数据库技术向数字能源、智能制造、智慧交通等重点场景渗透；

原创 深度解读 Cascades 查询优化器

数据库中查询优化器是数据库的核心组件，其决定着 SQL 查询的性能。Cascades 优化器是 Goetz 在 volcano optimizer generator 的基础上优化之后诞生的一个搜索框架。本期技术贴将带大家了解 Cascades 查询优化器。首先介绍 SQL 查询优化器，接着分析查询优化基本原理，最后对 Cascades 查询优化器进行重点介绍。

原创 KaiwuDB 通过中国信通院“可信数据库”性能与稳定性评测

海量时序数据的高吞吐写入、高性能的大批量复杂查询、原生 AI 支持**等优势，可实现每秒百万级时序数据记录写入，强大的实时计算与分析能力可达到毫秒级响应，满足工业数据的高效实时处理、智能分析、统一管理和低成本维护，帮助用户降本增效并提升决策科学性。KaiwuDB 分布式多模数据库系统具备分布式数据库的强一致性、高可用性、分布式架构、分布式水平扩展、高性能和企业级安全等特点，同时还支持多种数据模型，可用于存储和分析时序数据、结构化数据、半结构化数据和非结构化数据。依托**"就地计算"

原创 KaiwuDB 亮相中国国际供应链促进博览会

同时，信息技术企业逐步探索出共性的、场景化的解决方案及技术成果，其商业模式日益成熟，为产业提质、降本增效广泛赋能。为主题，邀请来自 50 余个国家和地区的 500 余家知名企业到场，集中展示各链条上、中、下游关键环节的新技术、新产品和新服务，旨在促进全球产业链、供应链合作，深入落实绿色低碳发展及数字化转型等重要命题。未来，KaiwuDB 将持续聚焦各产业领域数字化的新场景、新需求，为我国产业链、供应链的数字资源应用治理提供创新领先的数据库产品及方案能力，为夯实产业数字化升级基石砥砺前行。