测试openvpn做二层桥接的性能.

最新推荐文章于 2023-07-21 16:50:08 发布
最新推荐文章于 2023-07-21 16:50:08 发布
阅读量2.4k 收藏 1
点赞数 1
分类专栏： 干体力活 想法 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanzc1/article/details/117574886
版权

测试一下openvpn做二层桥接时. 能达到什么样的性能.

操作系统: debian10 内核 4.19.0-16-amd64
cpu:Xeon E5640 @ 2.67GHz2 每台服务器
通信物理网卡: BCM5709 Gigabit Ethernet3 bond rr模式 默认驱动.

eno2,eno3,eno4连了三条电口网线. 两台服务器直连.
bond网卡是链路聚合网卡.用的都是 rr方式.
tap网卡是openvpn用的二层网卡.
veth0和client中的eth0是虚拟的网卡对.

网络连接.
(ClientA 2.0.0.1/24)----(LinuxA 1.0.0.254/24) — (1.0.0.253/24 LinuxB ) —(2.0.0.2/24 ClientB)

LinuxA与LinuxB 之间连接一个二层openvpn
ClientA和ClinentB都是用net namespace建立的测试客户端. 生成虚拟网卡对与LinuxA和LinuxB通信
LinuxA与LinuxB 启用一个桥接口. 把openvpn产生的tap接口 和 虚拟网卡对加入 桥接接口.
最后实现的是. ClientA 与 ClientB的虚拟网卡对在同一个广播域内. 测试通信

=====================

LinuxA
ip link add br6 type bridge
ip addr flush dev br6
ip link set br6 up
openvpn --remote 1.0.0.253 --port 1051 --dev tap01 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon

ip link set tap01 down
ip addr flush dev tap01
ip link set tap01 master br6
ip link set tap01 up

##################

ip netns add ca
ip netns exec ca /usr/bin/screen -d -m -t ca
ip link add veth0 type veth peer name B
ip link set B netns ca
ip netns exec ca ip link set B name eth0

#lsns

4026532348 net 4 19660 root /usr/bin/SCREEN -d -m
4026532404 mnt 2 19660 root /usr/bin/SCREEN -d -m
#进 screen的pid
nsenter -n -t 19660

#这命令第一行也能取到?
#ip netns pids ca

=============

ip link set veth0 down
ip addr flush dev veth0
ip link set veth0 master br6
ip link set veth0 up

================
ClientA
ip addr add 2.0.0.1/24 dev eth0
ip link set eth0 up

###########################################
LinuxB
ip link add br6 type bridge
ip addr flush dev br6
ip link set br6 up
openvpn --remote 1.0.0.254 --port 1051 --dev tap01 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon
ip link set tap01 down
ip addr flush dev tap01
ip link set tap01 master br6
ip link set tap01 up

ip netns add ca
ip netns exec ca /usr/bin/screen -d -m -t ca
ip link add veth0 type veth peer name B
ip link set B netns ca
ip netns exec ca ip link set B name eth0

#这命令第一行也能取到?
#ip netns pids ca

=============

ip link set veth0 down
ip addr flush dev veth0
ip link set veth0 master br6
ip link set veth0 up

ClientB
ip addr add 2.0.0.2/24 dev eth0
ip link set eth0 up

##########################
测试效果.
cat /dev/zero |nc -l -p 2587 -q1
nc 2.0.0.2 2587 > /dev/null

单个进程.
流量
tap01: 11.95 Mb/s In 463.44 Mb/s Out - 21788.9 p/s In 40453.8 p/s Out

openvpn进程cpu占用
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
21256 root 10 -10 11700 4944 4196 S 66.1 0.0 11:23.74 openvpn

##################
下面用多条openvpn来进行测试一下.

LinuxA
openvpn --remote 1.0.0.253 --port 1051 --dev tap01 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon
openvpn --remote 1.0.0.253 --port 1052 --dev tap02 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon
openvpn --remote 1.0.0.253 --port 1053 --dev tap03 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon
openvpn --remote 1.0.0.253 --port 1054 --dev tap04 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon
openvpn --remote 1.0.0.253 --port 1055 --dev tap05 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon

linuxB
openvpn --remote 1.0.0.254 --port 1051 --dev tap01 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon
openvpn --remote 1.0.0.254 --port 1052 --dev tap02 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon
openvpn --remote 1.0.0.254 --port 1053 --dev tap03 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon
openvpn --remote 1.0.0.254 --port 1054 --dev tap04 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon
openvpn --remote 1.0.0.254 --port 1055 --dev tap05 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon

都执行

ip link add bond1 type bond

for i in 1 2 3 4 5
do
dev=“tap0${i}”
ip link set $dev down
ip addr flush dev $dev
ip link set $dev master bond1
ip link set $dev up
done

ip link set bond1 down
ip addr flush dev bond1
ip link set bond1 master br6
ip link set bond1 up

##################
5个进程同时测试
veth0: 823.24 Mb/s In 39.70 Mb/s Out - 33410.3 p/s In 63845.4 p/s Out

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
22505 root 10 -10 11700 4828 4080 R 60.5 0.0 2:34.19 openvpn
22325 root 10 -10 11700 4804 4056 S 59.5 0.0 2:35.90 openvpn
22497 root 10 -10 11700 4972 4224 R 58.5 0.0 2:35.04 openvpn
22491 root 10 -10 11700 4916 4168 R 56.8 0.0 2:32.48 openvpn
22484 root 10 -10 11700 4944 4196 S 56.5 0.0 2:34.34 openvpn

================
在LinuxA - B 两台之间测试 5进程
eno2: 286.49 Mb/s In 20.77 Mb/s Out - 24233.3 p/s In 20907.4 p/s Out
eno3: 286.26 Mb/s In 20.76 Mb/s Out - 24212.5 p/s In 20892.9 p/s Out
eno4: 286.42 Mb/s In 20.78 Mb/s Out - 24225.4 p/s In 20922.0 p/s Out
tap01: 167.42 Mb/s In 7.85 Mb/s Out - 14615.6 p/s In 12567.3 p/s Out
tap02: 166.68 Mb/s In 7.86 Mb/s Out - 14551.0 p/s In 12572.5 p/s Out
tap03: 166.28 Mb/s In 7.85 Mb/s Out - 14516.5 p/s In 12567.3 p/s Out
tap04: 166.81 Mb/s In 7.84 Mb/s Out - 14563.2 p/s In 12547.7 p/s Out
tap05: 165.72 Mb/s In 7.86 Mb/s Out - 14467.4 p/s In 12572.8 p/s Out

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
22325 root 10 -10 11700 4804 4056 R 67.7 0.0 4:51.64 openvpn
22505 root 10 -10 11700 4828 4080 S 60.0 0.0 4:45.39 openvpn
22497 root 10 -10 11700 4972 4224 R 59.7 0.0 4:49.64 openvpn
22484 root 10 -10 11700 4944 4196 S 59.3 0.0 4:46.80 openvpn
22491 root 10 -10 11700 4916 4168 R 59.3 0.0 4:45.10 openvpn

性能不是差在网卡对上.
linuxB-ClientB
之间测试
veth0: 73.00 Mb/s In 20389.52 Mb/s Out - 138248.5 p/s In 162817.3 p/s Out

性能也不是差在物理网卡上. 尽管 broadcom的网卡在linux中经常性能有问题
eno2: 939.99 Mb/s In 5.33 Mb/s Out - 77403.6 p/s In 8268.9 p/s Out
eno3: 941.26 Mb/s In 5.32 Mb/s Out - 77509.0 p/s In 8244.0 p/s Out
eno4: 939.69 Mb/s In 5.34 Mb/s Out - 77379.7 p/s In 8291.1 p/s Out

还是差在openvpn通信上吧.

==========================
找几个openvpn通信的参数试一下.
–fast-io 没看出变化, 也许能每接口差10Mbit/s?
–txqueuelen 1000 加上没用.
–sndbuf 0 --rcvbuf 0 加上就慢了.

LinuxA
openvpn --remote 1.0.0.253 --port 1051 --dev tap01 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.253 --port 1052 --dev tap02 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.253 --port 1053 --dev tap03 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.253 --port 1054 --dev tap04 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.253 --port 1055 --dev tap05 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.253 --port 1056 --dev tap06 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.253 --port 1057 --dev tap07 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.253 --port 1058 --dev tap08 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.253 --port 1059 --dev tap09 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.253 --port 1060 --dev tap010 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io

linuxB
openvpn --remote 1.0.0.254 --port 1051 --dev tap01 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.254 --port 1052 --dev tap02 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.254 --port 1053 --dev tap03 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.254 --port 1054 --dev tap04 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.254 --port 1055 --dev tap05 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.254 --port 1056 --dev tap06 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.254 --port 1057 --dev tap07 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.254 --port 1058 --dev tap08 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.254 --port 1059 --dev tap09 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io
openvpn --remote 1.0.0.254 --port 1060 --dev tap010 --ping 9 --link-mtu 1500 --nice -10 --auth none --cipher none --daemon --fast-io

for i in 1 2 3 4 5 6 7 8 9 10
do
dev=“tap0${i}”
ip link set $dev down
ip addr flush dev $dev
ip link set $dev master bond1
ip link set $dev up
done

eno2:   390.03 Mb/s In    27.38 Mb/s Out -  32990.0 p/s In   27524.1 p/s Out
eno3:   389.72 Mb/s In    27.38 Mb/s Out -  32963.6 p/s In   27536.6 p/s Out
eno4:   389.69 Mb/s In    27.35 Mb/s Out -  32960.9 p/s In   27503.7 p/s Out

tap01: 112.79 Mb/s In 5.17 Mb/s Out - 9846.4 p/s In 8254.4 p/s Out
tap010: 113.75 Mb/s In 5.17 Mb/s Out - 9930.4 p/s In 8257.9 p/s Out
tap02: 113.63 Mb/s In 5.18 Mb/s Out - 9919.2 p/s In 8263.6 p/s Out
tap03: 113.57 Mb/s In 5.18 Mb/s Out - 9914.6 p/s In 8262.9 p/s Out
tap04: 113.56 Mb/s In 5.18 Mb/s Out - 9913.7 p/s In 8261.1 p/s Out
tap05: 112.73 Mb/s In 5.18 Mb/s Out - 9841.1 p/s In 8265.7 p/s Out
tap06: 113.87 Mb/s In 5.17 Mb/s Out - 9940.3 p/s In 8260.7 p/s Out
tap07: 113.22 Mb/s In 5.18 Mb/s Out - 9884.6 p/s In 8269.6 p/s Out
tap08: 113.47 Mb/s In 5.18 Mb/s Out - 9905.8 p/s In 8266.3 p/s Out
tap09: 113.05 Mb/s In 5.18 Mb/s Out - 9869.3 p/s In 8266.7 p/s Out

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
20732 root 10 -10 11700 2688 1956 S 59.1 0.0 0:56.17 openvpn
20759 root 10 -10 11700 2800 2068 R 58.5 0.0 0:55.34 openvpn
20777 root 10 -10 11700 2844 2112 S 58.5 0.0 0:56.55 openvpn
20747 root 10 -10 11700 2660 1928 S 57.8 0.0 0:55.88 openvpn
20771 root 10 -10 11700 2760 2028 R 57.8 0.0 0:56.31 openvpn
20739 root 10 -10 11700 2728 1996 R 57.5 0.0 0:55.65 openvpn
20753 root 10 -10 11700 2756 2024 S 57.5 0.0 0:55.54 openvpn
20783 root 10 -10 11700 2764 2028 S 57.1 0.0 0:55.99 openvpn
20765 root 10 -10 11700 2660 1932 R 56.8 0.0 0:56.05 openvpn
20725 root 10 -10 11700 2792 2064 R 56.1 0.0 0:55.58 openvpn

简单增加vpn的条数. 性能也不能线性提高.cpu的idle 已经 50%了.
cpu5已经跑满.这个cpu上的 si很高.
手动改了一下中断分配. si的分担好了一点儿. 不过对于通信量没啥效果.
调也没用就对了. 应该还是差在openvpn上. 也许是内核到用户进程之间的问题?
反正用内核管理的bond,网卡对之类的. 性能没问题.

eno2:   442.11 Mb/s In    30.05 Mb/s Out -  37393.9 p/s In   30134.2 p/s Out
eno3:   441.51 Mb/s In    30.01 Mb/s Out -  37344.0 p/s In   30091.8 p/s Out
eno4:   442.08 Mb/s In    30.04 Mb/s Out -  37390.8 p/s In   30122.0 p/s Out

tap01: 128.07 Mb/s In 5.68 Mb/s Out - 11180.1 p/s In 9038.5 p/s Out
tap010: 128.26 Mb/s In 5.68 Mb/s Out - 11197.2 p/s In 9034.8 p/s Out
tap02: 127.84 Mb/s In 5.69 Mb/s Out - 11160.8 p/s In 9040.6 p/s Out
tap03: 128.09 Mb/s In 5.69 Mb/s Out - 11182.5 p/s In 9040.2 p/s Out
tap04: 129.35 Mb/s In 5.69 Mb/s Out - 11291.9 p/s In 9038.9 p/s Out
tap05: 128.76 Mb/s In 5.68 Mb/s Out - 11240.0 p/s In 9037.2 p/s Out
tap06: 127.92 Mb/s In 5.69 Mb/s Out - 11166.3 p/s In 9037.3 p/s Out
tap07: 129.28 Mb/s In 5.69 Mb/s Out - 11286.6 p/s In 9046.0 p/s Out
tap08: 128.60 Mb/s In 5.68 Mb/s Out - 11225.9 p/s In 9035.3 p/s Out
tap09: 128.13 Mb/s In 5.68 Mb/s Out - 11185.6 p/s In 9034.6 p/s Out

============
以下没用.

cat /dev/zero | nc -l -p 2001 -q1 &
cat /dev/zero | nc -l -p 2002 -q1 &
cat /dev/zero | nc -l -p 2003 -q1 &
cat /dev/zero | nc -l -p 2004 -q1 &
cat /dev/zero | nc -l -p 2005 -q1 &

nohup nc 2.0.0.253 2001 > /dev/null &
nohup nc 2.0.0.253 2002 > /dev/null &
nohup nc 2.0.0.253 2003 > /dev/null &
nohup nc 2.0.0.253 2004 > /dev/null &
nohup nc 2.0.0.253 2005 > /dev/null &

kill -9 $(pidof nc)

team网卡聚合没调明白. 以后有机会再看.

塞子
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
openvpn基础知识
07-09
openvpn基础知识-详细笔记文档总结
Windows OpenVPN的安装之桥接模式
最新发布
pcplayer的博客
01-28 1607
OpenVPN 的桥接模式的安装设置
基于linux的+openvpn网络.pdf
11-24
基于linux的+openvpn网络.pdf
RS160SDK_openvpn_A+_vpn_
10-02
Use this to get a proxy on kali
K8s 容器网络虚拟化
小熊的博客
11-29 260
K8s 容器网络虚拟化 本文需要读者熟悉 Ethernet（以太网）的基本原理和 Linux 系统的基本网络命令，以及 TCP/IP 协议族并了解传统的网络模型和协议包的流转原理。文中涉及到 Linux 内核的具体实现时，均以内核 v4.19.215 版本为准。 一 内核网络包接收流程 1 从网卡到内核协议栈 如图[1]，网络包到达 NC（Network Computer，本文指物理机）时，由 NIC（Network Interface Controller，网络接口控制器，俗称网卡）设备处理，NIC 以
OpenVPN部署
glisten0317的博客
05-10 3718
安装epel仓库安装easy-RSA安装openvpn服务端如果在线无法安装，可以通过离线文件进行安装。
网络相关知识笔记
FlamencaH的博客
06-12 2179
网络协议和管理 网络概念： 常见的网络物理组建 RJ-45连接器、路由器、交换机、网络接口卡等… VPN（虚拟私有网络） openVPN 网络协议 网络模型 网络拓扑 总线拓扑 所有设备均可接收信息 星型拓扑 通过中心点传输 单一故障点(缺点) 扩展星型拓扑结构 环形拓扑 信号绕环传输 单一故障点 双环拓扑 信号沿相反方向传输 比单环的复原能力更强 同一台网络设备连接有两条链路 全网状拓扑 容错能力强 实施成本高 部分网状拓扑 在容错能力与成本之间寻求平衡 逻辑拓扑
【openvpn】TAP模式
l00102795的博客
06-21 4560
在OpenVPN中有两种工作模式，一种称为(tunnel)模式，即通道的意思；另一种是(Terminal Access Point)模式，即一种网络设备或软件虚拟设备的意思。是一种虚拟点对点的网络设备模式。通常用于实现点对点（即主机到主机）虚拟专用网络（VPN）。在TUN模式下，OpenVPN会创建一个虚拟网络接口（通常称为tun0），通过该接口发送和接收IP包。TUN模式通常用于路由网络流量，因此其只能够处理（OSI模型中的第3层）数据包，（OSI模型中的第2层）数据包。是一种设备模式。
软路由系统 --- iKuai搭建OpenVPN服务
热门推荐
TREEGLORY的博客
07-21 1万+
实验环境：需要一台ikuai路由系统的虚拟机作为服务端需要一台win7 作为客户端进行连接服务端vpn目的：搭建OpenVPN服务，使两个不同网络联通，可以互相访问对方的资源。注：我这里是用虚拟机搭建的实验环境，进行验证，所以VPN服务端和客户端都是使用同一网段地址，方便测试验证。可能没理清楚它们之间关系的话，会看得有点迷糊。
openvpn-linux-client-scripts-开源
05-06
这些是相同的简单脚本...一个用于启动/停止/切换特定隧道即服务（初始化脚本）。 第二个是建立或断开隧道时调用的脚本（上/下脚本）。 还提供了pyQt GUI界面。
openvpn-certificate-authority
04-15
认证中心（CA） 权限是项目中最安全的部分。 这些设置控制和保护根CA证书。 理想情况下，授权机构应托管在与中间CA分开的计算机和网络上。 目的 创建自签名的根证书颁发机构证书 签署来自中间证书颁发机构的请求 ...
nsenter 进程空间操作
Jogger_Ling的专栏
04-26 388
nsenter命令是一个可以在指定进程的命令空间下运行指定程序的命令。它位于util-linux包中。 tcpdmp -D tcpdump -i any icmp6 -nnv 主库宿主机 docker 登录VM网络: docker inspect --format '{{.State.Pid}}' fea832cd-3acb-4c72-82bb-351b40184543 nsenter -t 4650 -n 抓包: tcpdum...
k8s flannel vxlan流量抓包分析
jiayu的博客
08-27 1306
于 Kubernetes 集群中的 Pod，由于容器内不便于抓包，通常视情况在 Pod 数据包经过的 veth 设备，docker0 网桥，CNI 插件设备（如 cni0，flannel.1 etc..）及 Pod 所在节点的网卡设备上指定 Pod IP 进行抓包
nsenter命令简介
月夜楓
09-09 677
nsenter
openvpn下的路由和桥接模式
02-22 7399
Tracert（跟踪路由）是路由跟踪实用程序，用于确定 IP 数据包访问目标所采取的路径； 在大多数情况下，作为网络工程技术人员或者系统管理员会在UNIX主机系统下，直接执行命令行：traceroutehostname 而在Windows系统下是执行Tracert的命令：tracerthostname 上检查/proc/sys/net/ipv4/ip_forward中的值是否为1 命令： #more /proc/sys/net/ipv4/ip_forward 如果显示其值不为1...
UOS桌面操作系统搭建open vxn服务
u013317172的博客
02-20 1455
统信桌面操作系统搭建openVxN服务
openvpn-connect怎么用.ovpn连接
06-09
要使用OpenVPN-Connect连接.ovpn文件，需要按照以下步骤进行： 1.将.ovpn文件从电脑端传输到手机上。可以通过邮件、云存储等方式将.ovpn文件传输到手机上。 2.在手机上安装OpenVPN-Connect应用程序。OpenVPN-Connect可以从应用商店中免费下载安装。 3.打开OpenVPN-Connect应用程序，在主界面上点击“导入”按钮，选择从电脑上传输过来的.ovpn文件。 4.输入VPN服务器的用户名和密码（如果有的话），然后点击“添加”按钮。 5.在主界面上可以看到已经添加的VPN连接配置文件，点击其中一个，然后点击“连接”按钮。 6.等待OpenVPN-Connect建立VPN连接。如果连接成功，屏幕上将会显示一个小锁图标，表示VPN连接已经建立。 这样，就可以使用OpenVPN-Connect连接.ovpn文件了。需要注意的是，.ovpn文件中包含了VPN服务器的配置信息，包括服务器地址、端口号、协议类型、证书等，如果这些信息不正确或缺失，VPN连接可能会失败。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值