OceanBase集群扩缩容

本文详细介绍了OceanBase数据库的架构特点,尤其是其Shared-Nothing架构,以及如何进行“三中心三副本”的部署。重点讲解了如何通过调整Unit_Num实现租户的扩缩容,包括理论原理和实际操作步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

​ OceanBase 数据库采用 Shared-Nothing 架构,各个节点之间完全对等,每个节点都有自己的 SQL 引擎、存储引擎、事务引擎,天然支持多租户,租户间资源、数据隔离,集群运行的最小资源单元是Unit,每个租户在每个节点上只会运行一个Unit。

先看看集群整体架构图,下面集群的部署模式为“三中心三副本”

有3个zone,每个zone下有两个OBServer节点
在这里插入图片描述
以业务租户Tenant_1为例,它有2个Unit,因为蓝色主副本P1、P2运行在zone1的observer上,蓝色主副本P3、P4运行在zone2的observer上,它们分别在另外两个observer上都运行着一个绿色从副本,以提高可用性和读性能,这是“三中心三副本”的由来。

在只有3个zone的情况下,Tenant_1租户的Unit=2,设置Unit=3 就是扩容,Unit=1 就是缩容

  • 扩容:需要在每个zone下都增加一台服务器,总共3台,然后在数据库参数中调整Unit_Num的大小由2改为3,就会自动在新添加的服务器上启动Unit(默认配置了负载均衡策略),并自动迁移数据,来提升服务能力

  • 缩容有两种场景,1.只减少租户下Unit数量,不下线服务器,2.减少Unit数量,也下线服务器

​ 在有多个zone的情况下,可以在创建租户时,指定租户属于不同zone,还可以迁移zone从一个机房搬迁到另一个机房,先增加 Zone,再在该 Zone 内增加节点,然后调整租户的 Locatity 属性,租户就是数据库实例,相当于把不同的数据库实例部署在不同的zone上。

​ 通过上面的理论得知,扩缩容实际上是调整Unit_Num的数量,而每个节点上只能运行一个租户的一个Unit,它又需要2个副本,所以增加一个Unit就需要在所有zone上都增加一台服务器,且Unit的资源描述大小不能超过服务器硬件配置(Unit需要8核、16G,而增加的服务器只有4核8G,则扩容失败),如果已有zone内的服务器资源配置充足,则不需要添加服务器就可以扩容。

​ **Tenant_SYS ** 系统租户目前不能扩容,只能3副本的形式存在,而且系统租户资源需要管理整个OceanBase集群的正常运行,所以不要在系统租户上创建数据库和表(上篇文章因演示需要才直接在系统租户下创建的数据库表),官方推荐在自定义租户下创建库表。

数据链路:客户端应用 -> F5/LVS -> OBProxy -> OBServer

上面介绍了扩缩容的理论,下面介绍扩缩容的实际操作,还是先说理论:
  • 在部署集群后,会自动创建一个系统租户(Tenant_SYS),同时会创建一些元数据表,部署时的配置信息会保存到元数据表中,扩缩容需要添加服务器节点,调休租户的Unit_Num大小,这些操作都需要保存到元数据表中,我们可以连接系统租户数据库查看元数据表的内容,查看zone、查看节点、查看租户、查看Unit等。
1.连接到系统租户
obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A

-u :租户的连接账户,格式有:用户名@租户名#集群名,系统租户MySQL模式,默认用户名为root,租户为sys,集群名在创建集群时设置的,集群名可以不写。

-p:提供账户密码,为了安全可以不提供,改为在后面提示符下输入,密码文本不可见

-A:表示在 OBClient 连接数据库时不自动获取统计信息

2.查看zone和observer
# 查看zone
SELECT * FROM oceanbase.DBA_OB_ZONES;

STATUS: ACTIVE为可用状态,INACTIVE为不可用状态

# 查看节点
SELECT * FROM oceanbase.DBA_OB_SERVERS;

查询结果中的相关字段说明如下:

  • SVR_IP:节点 IP。
  • SVR_PORT:节点的 RPC 端口。
  • ZONE:节点所在的 Zone。
  • SQL_PORT:节点的 SQL 端口,可以使用该端口通过直连方式连接 OceanBase 数据库。
  • WITH_ROOTSERVER:该节点是否为集群 RS(RootServer),RS 负责处理集群管理操作。
  • STATUS:节点的状态。ACTIVE:表示该节点为可用状态。INACTIVE:表示该节点为宕机状态。DELETING:表示该节点正在被删除。
  • STOP_TIME:节点停止服务的时间点。如果值为 NULL,表示节点服务正常运行。
  • START_SERVICE_TIME:节点开始服务的时间点。如果值为 NULL,表示节点未提供服务。
  • BLOCK_MIGRATE_IN_TIME:禁止副本迁入的开始时间点。如果为 NULL,表示副本正常迁入。
3.添加节点
3.1.节点需安装OceanBase软件包,并启动observer进程

在OecanBase添加节点前需要在节点上安装OceanBase软件,设置数据存储目录,在oceanbase-all-in-one-4.2.1.1-xxxx86_64.tar.gz的rpms目录中有安装包
在这里插入图片描述

1.安装rpm包,主要是oceanbase-ce 和oceanbase-ce-libs,都可以安装
rpm -ivh $rpm_name

2.初始化 OceanBase 数据库的目录,$cluster_name是集群名
mkdir -p /data/1/$cluster_name/{etc3,sort_dir,sstable,slog} 
mkdir -p /data/log1/$cluster_name/{clog,etc2,ilog,oob_clog} 
mkdir -p /home/admin/oceanbase/store/$cluster_name
for t in {etc3,sort_dir,sstable,slog};do ln -s /data/1/$cluster_name/$t /home/admin/oceanbase/store/$cluster_name/$t; done
for t in {clog,etc2,ilog,oob_clog};do ln -s /data/log1/$cluster_name/$t /home/admin/oceanbase/store/$cluster_name/$t; done

3.启动observer进程
/home/root/oceanbase/bin/observer -I 192.168.113.164 -P 2882 -p 2881 -z zone1 -d /home/root/oceanbase/store/myoceanbase -r '192.168.113.161:2882:2881' -c 20240119 -n myoceanbase -o "system_memory=10GB,datafile_size=100G,config_additional_dir=/data/1/myoceanbase/etc3;/data/log1/myoceanbase/etc2"

启动observer进程相关参数说明如下:

  • -I:参数用于指定待启动的节点 IP。在多机部署场景下,不能指定 127.0.0.1 作为目标 IP。
  • -c:用于指定集群 ID。其值可通过 SHOW PARAMETERS LIKE 'cluster_id'; 语句获取。
  • -p:用于指定 SQL 端口号。一般为 2881,除非有明确目的,一般不建议修改。
  • -P:用于指定 RPC 端口号。一般为 2882,除非有明确目的,不建议修改。
  • -n:用于指定集群名。其值可通过 SHOW PARAMETERS LIKE 'cluster'; 语句获取。本示例中集群名为 myoceanbase
  • -z:用于指定待加入的 Zone。可通过视图 DBA_OB_ZONES 查看集群中的 Zone 名。
  • -d:用于指定数据目录。
  • -r:用于指定待添加的 OceanBase 集群的 RS 地址列表。
  • -l:用于指定日志的级别,本示例中为 WARN,表示日志级别为 WARNING 级别。
  • -o:用于指定集群的启动配置项,需要根据实际情况配置。
    • system_memory:用于指定 OceanBase 数据库内部保留内存,10G,默认是 30G。
    • datafile_size:用于指定 OceanBase 数据库数据文件 SSTable 的大小(一次性初始化),根据 /data/1/ 可用空间评估,建议不少于 100G,同时又保留一些剩余空间。
    • config_additional_dir:用于指定参数文件的冗余目录。

如果需要添加多个节点,请重复执行上面添加节点操作。

3.2.向OceanBase集群添加节点

添加节点后,就需要连接集群,把节点添加到元数据表中

1.连接系统租户数据库
obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A

2.向集群的 Zone 中添加节点
ALTER SYSTEM ADD SERVER 'svr_ip:svr_port' [,'svr_ip:svr_port'...] [ZONE [=] 'zone_name'];
ALTER SYSTEM ADD SERVER '192.168.113.164:2882','192.168.113.165:2882' ZONE 'zone4';

3.查询 DBA_OB_SERVERS 进行确认
SELECT * FROM oceanbase.DBA_OB_SERVERS;

增加节点后,节点所在的 Zone 内有更多的节点容纳 Unit,从而可以执行后续的迁移 Unit、调整租户的 UNIT_NUM 以及新建租户等操作

3.3.扩容,调整租户UNIT_NUM大小

租户扩容和缩容本质上是提高和降低租户的服务能力,包括计算能力和存储容量。可以通过提高单节点的服务能力达成,也可以通过增加服务节点达成。

下面通过调整Unit_Num大小来达到租户总服务能力的提升或降低,实现租户的扩容或缩容。

从 V4.0.0 版本开始,OceanBase 数据库要求租户内每个 Zone 的 Unit 个数必须保持一致

  • 有个前提条件,设置租户内的负载均衡策略,租户内的负载均衡策略由租户级配置项 enable_rebalanceenable_transfer 共同控制,它们的默认值为 true,设置后不需要重启 OBServer 节点,立即生效。当他们的值为true时,表示在进行租户扩缩容操作时,系统会自动调整分区分布,实现负载均衡。

    ALTER SYSTEM SET enable_rebalance = true TENANT = 'tenant_name';
    ALTER SYSTEM SET enable_transfer = true TENANT = 'tenant_name';
    
    #系统租户开启所有用户租户(不含 sys 租户和 Meta 租户)的租户内负载均衡和租户下的 Transfer 功能
    ALTER SYSTEM SET enable_rebalance = true TENANT = all;
    ALTER SYSTEM SET enable_transfer = true TENANT = all;
    

调整Unit_Num大小,来给租户扩缩容

  • 1.连接系统租户数据库

    obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A
    
  • 2.use oceanbase;

    可以 show tables; 看看有很多系统内置的表
    在这里插入图片描述

  • 3.查看租户 mysql001 信息,获取其 TENANT_ID。

    SELECT * FROM oceanbase.DBA_OB_TENANTS WHERE TENANT_NAME = 'ocp';
    

    查询结果中,UNIT_NUM 的值为 1 表示租户的 Unit Number 数为 1。

    在这里插入图片描述

  • 4.查看租户 ocp 所拥有的 Unit,在3台服务器上分别有一个Unit,一主两从。

    SELECT * FROM oceanbase.DBA_OB_UNITS WHERE TENANT_ID = 1002;
    

    在这里插入图片描述

  • 5.把租户 mysql001 的 UNIT_NUM 修改为 2。

    ALTER RESOURCE TENANT mysql001 UNIT_NUM = 2;
    
  • 6.查看调大 Unit Number 任务的执行状态。

    SELECT * FROM oceanbase.DBA_OB_TENANT_JOBS WHERE JOB_TYPE='ALTER_RESOURCE_TENANT_UNIT_NUM' AND TENANT_ID=1006;
    
  • 7.再次查看租户 mysql001 修改后的 Unit。

    SELECT * FROM oceanbase.DBA_OB_UNITS WHERE TENANT_ID = 1006;
    
  • 8.通过随机删除 UNIT_GROUP 的方式来调小 UNIT_NUM 的数量

    ALTER RESOURCE TENANT mysql001 UNIT_NUM = 1;
    

参考了官方文档:
https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000507927
https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000508357

<think>好的,我现在需要回答用户关于多租户架构下如何实现弹性扩缩容的最佳实践的问题。首先,我得理解多租户系统的核心概念,以及弹性扩缩容的具体需求。根据用户提供的引用内容,尤其是引用[1]、[3]、[4],这些提到了数据库内核多租户、资源调整和Serverless Knative的应用。 首先,多租户系统通过资源隔离和共享来提高资源利用率,同时需要灵活的扩缩容能力。弹性扩缩容可能涉及垂直和水平扩展,或者两者的结合。引用[3]提到泡泡玛特案例中调整租户的CPU和内存,这属于垂直扩缩容,而引用[4]中的Knative Serving则可能涉及基于请求的自动水平扩缩容。 接下来,我需要整合这些信息,总结出最佳实践的几个方面。比如资源隔离技术是关键,像cgroups或容器化技术,确保租户间资源不互相干扰。然后,弹性策略可能需要分级,像引用[3]提到的二级弹性:租户规格调整和机器规格调整。自动化监控和策略引擎也很重要,能够实时响应负载变化。另外,无状态设计和Serverless架构,如Knative,可以支持快速扩缩容。 还需要考虑灰度发布和回滚机制,确保扩缩容过程中的稳定性。成本优化方面,引用[3]提到整合实例减少运维压力,这可能也是最佳实践的一部分。同时,用户案例中的OceanBase和Knative都是具体的技术实现,可以作为例子引用。 需要检查是否有遗漏点,比如是否提到水平扩展和垂直扩展的区别,或者如何结合使用。另外,是否需要提到具体的资源调度算法或策略?不过用户可能更关注实践方法而非底层算法。确保每个点都有引用支持,比如引用[1]中的内核多租户优势,引用[3]的实际操作案例,引用[4]的Serverless应用。 最后,生成相关问题时要围绕多租户、弹性扩缩容的技术挑战、具体技术方案、成本效益等。可能的问题包括资源隔离技术比较、垂直与水平扩展的选择、无服务器架构的应用场景等。确保问题与回答内容紧密相关,帮助用户深入理解。</think>### 多租户架构下弹性扩缩容的最佳实践 在多租户系统中,弹性扩缩容是实现资源高效利用和成本优化的核心能力。以下是关键方法和实践总结: --- #### 1. **分级弹性策略** 多租户系统通常采用分层扩缩容机制,以平衡灵活性与稳定性: - **第一级:租户规格调整(垂直扩缩容)** 通过动态调整单个租户的 CPU、内存等资源配额,实现快速响应。例如,泡泡玛特在业务高峰期可直接调整租户的 CPU 核数,平滑提升 TPS 性能[^3]。 $$ \text{新资源配额} = \text{基础配额} \times \text{负载系数} $$ - **第二级:机器规格调整(混合扩缩容)** 结合虚拟机或容器的垂直扩缩容(如 AWS EC2 实例类型变更)与水平扩缩容(增减节点),优化资源分配[^5]。 --- #### 2. **内核级资源隔离技术** 数据库内核多租户通过整合成熟的隔离技术(如 Linux cgroups、Kubernetes 资源限制),实现租户间资源隔离,避免干扰: - **优势**:相比虚拟机或容器多租户,内核多租户减少 OS 层和管理层开销,资源利用率提升 30% 以上[^1]。 - **实践示例**:OceanBase 通过租户级资源池管理,支持秒级调整租户规格,且不影响其他租户。 --- #### 3. **自动化弹性引擎** - **实时监控与预测** 基于 CPU 使用率、请求延迟等指标,动态触发扩缩容策略。例如,Knative Serving 根据请求并发数自动扩缩 Pod 实例[^4]。 - **策略优先级**: - 优先垂直扩缩容(快速、无状态迁移成本) - 次选水平扩缩容(应对持续高负载) --- #### 4. **无状态化设计与资源共享** - **无状态服务**:将计算与存储分离(如使用对象存储或分布式数据库),使计算层可快速扩缩[^5]。 - **共享存储池**:多租户共享同一存储资源池,通过配额限制和优先级调度保障公平性。 --- #### 5. **成本与稳定性优化** - **资源超卖与碎片整理**:通过超卖技术(如 Kubernetes 的 Binpack 算法)提升资源密度,同时定期整理碎片化资源。 - **灰度发布与回滚**:扩缩容后通过流量逐步切换和健康检查,确保服务稳定性。 --- #### 典型案例 - **泡泡玛特**:将几十套数据库整合为 3 套 OceanBase 集群,租户规格调整替代传统扩容,运维成本降低 60%。 - **Serverless 架构**:Knative 基于请求量自动扩缩容,适合流量波动大的场景(如电商大促)[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值