KubeSphere 部署 Kafka 集群实战指南

于 2024-08-09 10:52:44 发布
阅读量404 收藏 14
点赞数 13
文章标签： k8s 容器平台 kubesphere 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zpf17671624050/article/details/141056235
版权

本文档将详细阐述如何利用 Helm 这一强大的工具，快速而高效地在 K8s 集群上安装并配置一个 Kafka 集群。

实战服务器配置(架构 1:1 复刻小规模生产环境，配置略有不同)

主机名IPCPU内存系统盘数据盘用途
ksp-registry192.168.9.904840200Harbor 镜像仓库
ksp-control-1192.168.9.914840100KubeSphere/k8s-control-plane
ksp-control-2192.168.9.924840100KubeSphere/k8s-control-plane
ksp-control-3192.168.9.934840100KubeSphere/k8s-control-plane
ksp-worker-1192.168.9.9481640100k8s-worker/CI
ksp-worker-2192.168.9.9581640100k8s-worker
ksp-worker-3192.168.9.9681640100k8s-worker
ksp-storage-1192.168.9.974840400+ElasticSearch/Longhorn/Ceph/NFS
ksp-storage-2192.168.9.984840300+ElasticSearch/Longhorn/Ceph
ksp-storage-3192.168.9.994840300+ElasticSearch/Longhorn/Ceph
ksp-gpu-worker-1192.168.9.10141640100k8s-worker(GPU NVIDIA Tesla M40 24G)
ksp-gpu-worker-2192.168.9.10241640100k8s-worker(GPU NVIDIA Tesla P100 16G)
ksp-gateway-1192.168.9.1032440自建应用服务代理网关/VIP：192.168.9.100
ksp-gateway-2192.168.9.1042440自建应用服务代理网关/VIP：192.168.9.100
ksp-mid192.168.9.1054840100部署在 k8s 集群之外的服务节点（Gitlab 等）
合计15681526002100+

实战环境涉及软件版本信息

  • 操作系统：openEuler 22.03 LTS SP3 x86_64
  • KubeSphere：v3.4.1
  • Kubernetes：v1.28.8
  • KubeKey: v3.1.1
  • Bitnami Kafka Helm Charts：29.3.13
  • Kafka： 3.7.1

1. 前提条件

目前在 K8s 集群部署 Kafka 的主流方案有以下几种：

  • 手写资源配置清单（麻烦，涉及的组件、配置多）
  • Kafka Helm chart （Bitnami 出品，简单可定制，但是需要花时间成本学习可配置参数）

经过细致的调研、思考，本文选择采用 Bitnami 的 Kafka Helm chart 进行部署。Bitnami 提供的 Helm chart 以其稳定性和易用性著称，是快速部署 Kafka 到 Kubernetes 集群的理想选择。

编写本文的目的是为了验证 Kafka Helm chart 的部署可行性，并评估其在实际应用中的表现。为了确保过程的顺利和提高成功几率，以下部署配置进行了适度简化，某些配置并不符合生产环境的标准。

  • 外部访问安全协议，使用了 PLAINTEXT ，关闭了访问认证，默认值为 SASL_PLAINTEXT。生产环境务必开启认证。
  • 外部访问使用了 NodePort 模式
  • 默认 StorageClass 使用了 NFS
  • 没有考虑数据持久化的配置

对于计划在生产环境部署的用户，我建议详细参考 Bitnami 官方文档，以获取更全面的配置指导和最佳实践。我认为生产环境应该考虑的几项配置如下：

  • 外部访问安全协议，选择PLAINTEXT, SASL_PLAINTEXT, SASL_SSL 和 SSL 中的哪种方式加密认证方式，
  • 数据、日志持久化配置
  • k8s 集群外部访问 Kafka 的方式，NodePort 是否合适？是否需要使用 LoadBalancer、Ingress
  • 内否启用内置的监控 Metrics
  • 是否利用 Helm 生成 Kubectl 可用的资源配置清单，离线部署

2. 使用 Helm 安装 Kafka 集群

2.1 安装 Kafka Helm Chart

  • 添加 Kafka Helm repository
helm repo add bitnami https://charts.bitnami.com/bitnami
  • 更新本地 charts
helm repo update bitnami

2.2 安装 Kafka

  • 官方默认安装命令（仅供参考，本文未用）
helm install my-release oci://registry-1.docker.io/bitnamicharts/kafka
  • 按规划设置自定义配置项，执行下面的安装命令：
helm install opsxlab bitnami/kafka \
  --namespace opsxlab --create-namespace \
  --set replicaCount=3 \
  --set global.imageRegistry="registry.opsxlab.cn:8443" \
  --set global.defaultStorageClass="nfs-sc" \
  --set externalAccess.enabled=true \
  --set externalAccess.controller.service.type=NodePort \
  --set externalAccess.controller.service.nodePorts[0]='31211' \
  --set externalAccess.controller.service.nodePorts[1]='31212' \
  --set externalAccess.controller.service.nodePorts[2]='31213' \
  --set externalAccess.controller.service.useHostIPs=true \
  --set listeners.client.protocol=PLAINTEXT \
  --set listeners.external.protocol=PLAINTEXT

自定义配置说明：

  • 指定并自动创建命名空间 opsxlab
  • 设置组件的镜像地址，本文为了演示修改方法，使用了内部的镜像仓库，实际使用中请修改为自己的镜像仓库地址
  • 设置默认的持久化存储类为 nfs-sc，适用于 K8s 有多种存储类，需要部署到指定存储类的场景
  • 开启外部访问，并设置相关参数
  • 加密认证方式选择了 PLAINTEXT

正确执行后，输出结果如下 :

$ helm install opsxlab bitnami/kafka \
  --set externalAccess.controller.service.nodePorts[1]='31212' \
>   --namespace opsxlab --create-namespace \
>   --set replicaCount=3 \
>   --set global.imageRegistry="registry.opsxlab.cn:8443" \
>   --set global.defaultStorageClass="nfs-sc" \
>   --set externalAccess.enabled=true \
>   --set externalAccess.controller.service.type=NodePort \
>   --set externalAccess.controller.service.nodePorts[0]='31211' \
>   --set externalAccess.controller.service.nodePorts[1]='31212' \
>   --set externalAccess.controller.service.nodePorts[2]='31213' \
>   --set externalAccess.controller.service.useHostIPs=true \
>   --set listeners.client.protocol=PLAINTEXT \
>   --set listeners.external.protocol=PLAINTEXT
NAME: opsxlab
LAST DEPLOYED: Wed Jul 30 22:08:38 2024
NAMESPACE: opsxlab
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: kafka
CHART VERSION: 29.3.13
APP VERSION: 3.7.1
---------------------------------------------------------------------------------------------
 WARNING

    By specifying "serviceType=LoadBalancer" and not configuring the authentication
    you have most likely exposed the Kafka service externally without any
    authentication mechanism.

    For security reasons, we strongly suggest that you switch to "ClusterIP" or
    "NodePort". As alternative, you can also configure the Kafka authentication.

---------------------------------------------------------------------------------------------

** Please be patient while the chart is being deployed **

Kafka can be accessed by consumers via port 9092 on the following DNS name from within your cluster:

    opsxlab-kafka.opsxlab.svc.cluster.local

Each Kafka broker can be accessed by producers via port 9092 on the following DNS name(s) from within your cluster:

    opsxlab-kafka-controller-0.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092
    opsxlab-kafka-controller-1.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092
    opsxlab-kafka-controller-2.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092

To create a pod that you can use as a Kafka client run the following commands:

    kubectl run opsxlab-kafka-client --restart='Never' --image registry.opsxlab.cn:8443/bitnami/kafka:3.7.1-debian-12-r4 --namespace opsxlab --command -- sleep infinity
    kubectl exec --tty -i opsxlab-kafka-client --namespace opsxlab -- bash

    PRODUCER:
        kafka-console-producer.sh \
            --broker-list opsxlab-kafka-controller-0.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092,opsxlab-kafka-controller-1.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092,opsxlab-kafka-controller-2.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092 \
            --topic test

    CONSUMER:
        kafka-console-consumer.sh \
            --bootstrap-server opsxlab-kafka.opsxlab.svc.cluster.local:9092 \
            --topic test \
            --from-beginning
To connect to your Kafka controller+broker nodes from outside the cluster, follow these instructions:
    Kafka brokers domain: You can get the external node IP from the Kafka configuration file with the following commands (Check the EXTERNAL listener)

        1. Obtain the pod name:

        kubectl get pods --namespace opsxlab -l "app.kubernetes.io/name=kafka,app.kubernetes.io/instance=opsxlab,app.kubernetes.io/component=kafka"

        2. Obtain pod configuration:

        kubectl exec -it KAFKA_POD -- cat /opt/bitnami/kafka/config/server.properties | grep advertised.listeners
    Kafka brokers port: You will have a different node port for each Kafka broker. You can get the list of configured node ports using the command below:

        echo "$(kubectl get svc --namespace opsxlab -l "app.kubernetes.io/name=kafka,app.kubernetes.io/instance=opsxlab,app.kubernetes.io/component=kafka,pod" -o jsonpath='{.items[*].spec.ports[0].nodePort}' | tr ' ' '\n')"

WARNING: There are "resources" sections in the chart not set. Using "resourcesPreset" is not recommended for production. For production installations, please set the following values according to your workload needs:
  - controller.resources
+info https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/

2.3 查看安装结果

Helm 安装命令成功执行后，观察 Pod 运行状态。

kubectl get pods -n opsxlab

安装成功后，输出结果如下 :

$ kubectl get pods -n opsxlab
NAME                         READY   STATUS    RESTARTS   AGE
opsxlab-kafka-controller-0   1/1     Running   0          1m17s
opsxlab-kafka-controller-1   1/1     Running   0          1m17s
opsxlab-kafka-controller-2   1/1     Running   0          1m17s

KubeSphere 管理控制台查看部署的组件信息。

  • StatefulSet（1个）

  • Services（5个）

3. 验证测试 Kafka 服务可用性

分别在 K8s 集群内和集群外验证 Kafka 服务的可用性。

3.1 K8s 集群内部验证

在 K8s 集群内的验证过程，可以参考 Helm 部署 Kafka 时给出的提示信息。

  1. 创建测试 Pod
kubectl run opsxlab-kafka-client --restart='Never' --image registry.opsxlab.cn:8443/bitnami/kafka:3.7.1-debian-12-r4 --namespace opsxlab --command -- sleep infinity
  1. 打开测试 Pod 终端
kubectl exec --tty -i opsxlab-kafka-client --namespace opsxlab -- bash
  1. 执行命令，生产数据
kafka-console-producer.sh \
  --broker-list opsxlab-kafka-controller-0.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092,opsxlab-kafka-controller-1.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092,opsxlab-kafka-controller-2.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092 \
  --topic test
  1. 再打开一个测试 Pod 终端，消费数据

再打开一个终端后，先执行 第 2 步打开测试 Pod 终端的命令，然后再执行下面的命令。

kafka-console-consumer.sh \
  --bootstrap-server opsxlab-kafka.opsxlab.svc.cluster.local:9092 \
  --topic test \
  --from-beginning
  1. 生产并消费数据测试

在生产者一侧随便输入测试数据，观察消费者一侧是否正确收到信息。

生产者侧：

I have no name!@opsxlab-kafka-client:/$ kafka-console-producer.sh   --broker-list opsxlab-kafka-controller-0.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092,opsxlab-kafka-controller-1.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092,opsxlab-kafka-controller-2.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092   --topic test
>cluster kafka test 1
>cluster kafka test 2

消费者侧：

I have no name!@opsxlab-kafka-client:/$ kafka-console-consumer.sh \
  --bootstrap-server opsxlab-kafka.opsxlab.svc.cluster.local:9092 \
  --topic test \
  --from-beginning

cluster kafka test 1
cluster kafka test 2

3.2 k8s 集群外部验证

为了更严谨的测试 Kafka 在 K8s 集群外的可用性，我在 K8s 集群外找了一台机器，安装 JDK 和 Kafka。安装方式上 JDK 选择了 Yum 安装 openjdk，Kafka 则选用了官方提供的二进制包。

实际测试时还可以选择 Docker 镜像或是在 K8s 集群上再创建一个 Pod，测试时连接 K8s 节点的宿主机 IP 和 NodePort。

  1. 准备外部测试环境
# 安装 JDK
yum install java-1.8.0-openjdk

# 下载 Kafka
cd /srv
wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

# 解压
tar xvf kafka_2.13-3.7.1.tgz
cd /srv/kafka_2.13-3.7.1/bin
  1. 获取 Kafka 外部访问配置信息

一共 3个 Kafka Pod，每个 Pod 的 advertised.listeners 配置不同，在 K8s 控制节点，分别执行下面的命令：

kubectl exec -n opsxlab -it opsxlab-kafka-controller-0 -- cat /opt/bitnami/kafka/config/server.properties | grep advertised.listeners
kubectl exec -n opsxlab -it opsxlab-kafka-controller-1 -- cat /opt/bitnami/kafka/config/server.properties | grep advertised.listeners
kubectl exec -n opsxlab -it opsxlab-kafka-controller-2 -- cat /opt/bitnami/kafka/config/server.properties | grep advertised.listeners

正确执行后，输出结果如下 :

$ kubectl exec -n opsxlab -it opsxlab-kafka-controller-0 -- cat /opt/bitnami/kafka/config/server.properties | grep advertised.listeners
Defaulted container "kafka" out of: kafka, kafka-init (init)
advertised.listeners=CLIENT://opsxlab-kafka-controller-0.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092,INTERNAL://opsxlab-kafka-controller-0.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9094,EXTERNAL://192.168.9.125:31211

$ kubectl exec -n opsxlab -it opsxlab-kafka-controller-1 -- cat /opt/bitnami/kafka/config/server.properties | grep advertised.listeners
Defaulted container "kafka" out of: kafka, kafka-init (init)
advertised.listeners=CLIENT://opsxlab-kafka-controller-1.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092,INTERNAL://opsxlab-kafka-controller-1.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9094,EXTERNAL://192.168.9.124:31212

$ kubectl exec -n opsxlab -it opsxlab-kafka-controller-2 -- cat /opt/bitnami/kafka/config/server.properties | grep advertised.listeners
Defaulted container "kafka" out of: kafka, kafka-init (init)
advertised.listeners=CLIENT://opsxlab-kafka-controller-2.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092,INTERNAL://opsxlab-kafka-controller-2.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9094,EXTERNAL://192.168.9.126:31213
  1. 外部节点连接 Kafka 测试

跟 K8s 集群内部验证测试过程一样，打开两个终端，运行生产者和消费者脚本。执行下面的命令验证测试(细节略过，直接上结果)。

外部生产者侧：

$ ./kafka-console-producer.sh --broker-list 192.168.9.125:31211  --topic test
>external kafka test 3
>external kafka test 4

外部消费者侧：

$ ./kafka-console-consumer.sh --bootstrap-server 192.168.9.125:31211  --topic test --from-beginning

cluster kafka test 1
cluster kafka test 2
external kafka test 3
external kafka test 4

注意： 外部消费者能消费到所有数据，包括集群内部测试时生成的数据。

集群内消费者侧： 集群内的消费者，同样能获取外部生产者产生的数据。

I have no name!@opsxlab-kafka-client:/$ kafka-console-consumer.sh \
  --bootstrap-server opsxlab-kafka.opsxlab.svc.cluster.local:9092 \
  --topic test \
  --from-beginning

cluster kafka test 1
cluster kafka test 2
external kafka test 3
external kafka test 4

免责声明：

  • 笔者水平有限，尽管经过多次验证和检查，尽力确保内容的准确性，但仍可能存在疏漏之处。敬请业界专家大佬不吝指教。
  • 本文所述内容仅通过实战环境验证测试，读者可学习、借鉴，但严禁直接用于生产环境。由此引发的任何问题，作者概不负责！

本文由博客一文多发平台 OpenWrite 发布！

KubeSphere 云原生
关注
  • 13
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kubeSphere容器云管理平台实战
悦分享
09-30 1348
KubeSphere 是在目前主流容器调度平台 Kubernetes 之上构建的企业级分布式多租户容器平台，提供简单易用的操作界面以及向导式操作方式，在降低用户使用容器调度平台学习成本的同时，极大减轻开发、测试、运维的日常工作的复杂度，旨在解决 Kubernetes 本身存在的存储、网络、安全和易用性等痛点。
零基础学kubernetes（k8s）必看教程，带你10分钟快速实战入门k8s
热门推荐
Cloud_Native的博客
06-09 2万+
作为一个工作十余年，拥有比较丰富的计算机网络运维、主机运维、云计算平台运维、自动化运维开发经验的老鸟，我来说说我当初刚接触Kubernetes时的一些感受以及学习技巧。
KubeSphere 部署向量数据库 Milvus 实战指南
KubeSphere
07-30 458
作者：运维有术星主Milvus 是一个为通用人工智能（GenAI）应用而构建的开源向量数据库。它以卓越的性能和灵活性，提供了一个强大的平台，用于存储、搜索和管理大规模的向量数据。Milvus 能够执行高速搜索，并以最小的性能损失扩展到数百亿向量。其分布式架构确保了系统的高可用性和水平可扩展性，满足不断增长的数据需求。同时，Milvus 提供了丰富的 API 和集成选项，使其成为机器学习、计算机视觉和自然语言处理等 AI 应用的理想选择。
8.云原生存储之Ceph集群
野心与梦
01-09 1万+
云原生存储之Ceph集群
2022/2023/2024-随便学学
Nightwish5的博客
08-01 3269
随笔记录一下 一 《每天5分钟玩转Kubernetes》 《第五版-Kubernetes权威指南_从Docker到Kubernetes实践全接触(第5版)》 318 《每天5分钟玩转Docker容器技术》 《每天5分钟玩转openstack》 仅前几章 OpenStack学习 https://www.bilibili.com/video/BV13s411371G?p=9 阿里云架构全解 https://www.bilibili.com/video/BV1xY4y1b7gu?p=2 Docker容
个人学习工作笔记总结(包含Java相关，数据库相关，运维相关，docker，Kubernetes，流媒体相关，项目管理相关，代码审查相关，安全渗透相关，开发工具，框架技术等等内容)
爱是与世界平行
12-08 621
个人学习工作笔记总结-包含Java相关，数据库相关，运维相关，docker，Kubernetes，流媒体相关，项目管理相关，代码审查相关，安全渗透相关，开发工具，框架技术等等内容介绍阅读说明安全性能测试安全运维安全运维METASPLOIT等保测试基准测试加密算法全链路测试软件测试工具网站安全性能测试报告性能测试工程师性能测试面试性能测试实施指南性能测试系列博文BeefJmterLoadrunnerPostmanSystenchWeb渗透网络渗透Web渗透Web渗透博文大数据FlinkHadoopHBaseK
云原生扫盲
拉里小猪的博客
02-04 1042
云原生学习笔记，干货不多，给自己留个印象。
图解 Kafka 之实战指南
03-29
### 图解Kafka之实战指南知识点详述 #### 一、Kafka简介 **Kafka** 起初由LinkedIn采用Scala语言开发，后捐赠给Apache基金会，现已成为一款广泛应用于分布式流处理平台的成熟软件。它凭借高吞吐量、可持久化存储、...
图解 Kafka 之实战指南.7z
12-22
《图解 Kafka 之实战指南》是一本深入解析Apache Kafka的实用书籍，旨在帮助读者理解和掌握这个分布式消息系统的精髓。Kafka是一个高吞吐、低延迟的开源流处理平台，常用于实时数据管道和流应用的构建。在这个实战...
LinuxLinux部署kafka集群
03-01
在Linux环境下部署Kafka集群，首先需要安装和配置几个关键组件，包括Java Development Kit (JDK)，ZooKeeper，以及Kafka本身。下面将详细介绍这个过程。 1. **Java Development Kit (JDK)** Kafka运行在Java平台上...
kafka集群部署文档(部署，运维，FAQ)
06-27
### Kafka集群部署与运维知识点详解 #### 一、Kafka概览 Kafka是一种高性能的分布式消息系统，具有以下特点： - **数据持久性**：Kafka通过高效的磁盘数据结构来实现消息的持久化存储，即使面对大量数据也能保持...
kafka集群部署、监控
08-13
zookeeper集群部署，kafka集群部署，kafka介绍，topic创建、删除、kafka监控
中职云计算实训室
whwzzc的博客
08-08 470
首先，需要合理规划实训室的空间布局，确保服务器和网络设备的合理放置，以及网络布线的科学性，以便于后期的维护和管理。其次，选择高性能、高可靠性的硬件设备，如云服务器、云存储设备等，以满足云计算实训的需求。云计算实训室的建设，聚焦于职业技能的培养，以岗位需求为导向，致力于培养能够设计、布线、安装、调试和维护计算机网络的高技能人才。中职云计算实训教学整体解决方案，包括：云计算服务器集群、云计算实训平台、实训课程体系、行业实战课程系统、行业数据等，系统性地解决云计算实训教学的痛点问题。（3）云计算实训室制度建设。
预测云计算的未来
最新发布
a17759353293的博客
08-08 404
​ 直到最近，云计算还是软件编程界之外很少有人熟悉的一个概念。如今，云计算已成为一切的基础，从点播电视服务和在线游戏门户网站到电子邮件和社交媒体，这四大现代世界的基石。云计算将继续存在，随着其重要性日益增加，人们对云计算未来几年将如何发展进行了激烈的猜测。
【2023年】云计算金砖牛刀小试2
geekgold的博客
08-04 1256
2023年一带一路职业技能大赛之云计算赛项,欢迎交流学习VX: wenjinworkon
Linux云计算 |【第二阶段】NETWORK-DAY2
小安的运维专栏
08-08 694
VLAN技术、TRUNK模式、链路聚合、路由器
云计算：从多个维度探索
weixin_55745942的博客
08-08 922
云计算是一种通过网络提供可扩展、按需的计算资源和服务的方式。这些资源和服务包括服务器、存储、数据库、网络、软件、分析等，可以快速部署和释放，帮助用户节省时间和成本。
云计算任务调度优化matlab仿真,对比蚁群优化和蛙跳优化
熟悉python,matlab,C,C++,JAVA等
08-08 204
Tn​}，服务器集合为S={S1​,S2​,…每个任务Ti​都有一个处理时间ti​和一个能耗ei​。ACO通过模拟蚂蚁的路径选择行为来优化任务分配，而SFLA则利用青蛙的跳跃行为进行搜索。每只蚂蚁在寻找路径时会释放一种称为信息素的化学物质，这种物质可以引导其他蚂蚁沿着相同的路径移动。在云计算任务调度中，我们可以将蚂蚁视为解决方案的搜索者，将路径视为任务到服务器的分配方案。云计算任务调度优化,优化目标位任务消耗时间，调度后的经济效益以及设备功耗，对比蚁群优化算法和蛙跳优化算法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值