简介
FLOPS:(floating-point operations per second)的缩写。“每秒浮点运算次数”,“每秒峰值速度”是“每秒所执行的浮点运算次数”。它常被用来估算电脑的执行效能,尤其是在使用到大量浮点运算的科学计算领域中。正因为FLOPS字尾的那个S,代表秒,而不是复数,所以不能省略掉。
FLOPs:乘加次数,计算量对应时间复杂度
例如:
f
l
o
p
s
c
o
v
=
h
∗
w
∗
k
2
∗
c
i
n
∗
c
o
u
t
f
l
o
p
s
d
o
w
n
s
a
m
p
l
e
=
0
f
l
o
p
s
f
c
=
w
e
i
g
h
t
i
n
∗
w
e
i
g
h
t
o
u
t
flops_{cov} = h*w*k^2*c_{in}*c_{out}\newline flops_{downsample} = 0\newline flops_{fc} = weight_{in}*weight_{out}
flopscov=h∗w∗k2∗cin∗coutflopsdownsample=0flopsfc=weightin∗weightout
params:参数量对应于我们之前的空间复杂度,参数量影响显存
p
a
r
a
m
s
c
o
v
=
k
2
∗
c
i
n
∗
c
o
u
t
考虑
b
i
a
s
:
p
a
r
a
m
s
c
o
v
=
(
k
2
∗
c
i
n
+
1
)
∗
c
o
u
t
p
a
r
a
m
s
d
o
w
n
s
a
m
p
l
e
=
0
p
a
r
a
m
s
f
c
=
w
e
i
g
h
t
i
n
∗
w
e
i
g
h
t
o
u
t
params_{cov} = k^2*c_{in}*c_{out}\newline 考虑bias:params_{cov} = (k^2*c_{in}+1)*c_{out}\newline params_{downsample} = 0\newline params_{fc} = weight_{in}*weight_{out}
paramscov=k2∗cin∗cout考虑bias:paramscov=(k2∗cin+1)∗coutparamsdownsample=0paramsfc=weightin∗weightout
参数量:即模型中需要学习的参数数量,它是衡量模型复杂度的另一个重要指标。模型的参数量越多,表示模型的表达能力越强,但也意味着模型需要更多的计算资源和数据来训练和推断。比如,在训练模型时需要更多的GPU内存,推断时需要更多内存来存储模型参数。
显存=模型自身的参数(params)+模型计算产生的中间变量(memory)
实验测试:
利用mmengine工程进行实验:
import torchvision
from mmengine.analysis import get_model_complexity_info
if __name__ == '__main__':
resnet = torchvision.models.resnet18()
input_shape = (3, 224, 224)
analysis_results = get_model_complexity_info(resnet, input_shape)
# 对于第一卷积层
params1 = 7 * 7 * 3 * 64
flops1 = 7 * 7 * 3 * 64 * 224 / 2 * 224 / 2
activations = 64 * 112 * 112
print('params={}K,flops={}G,activations={}M'.format(params1 / pow(10.0, 3), flops1 / pow(10.0, 9),
activations / pow(10.0, 6)))
print(analysis_results['out_table'])
pass
验证自己计算和mmengine打印结果是一样的