checkpoint
和 pretrain
是在深度学习中常用的两个术语,它们有以下区别:
个人觉得在一开始训练的时候,就是epoch为0的时候,这个时候没有checkpoint文件,所以这个时候pretrain就相当于checkpoint读入网络中进行训练。
-
Checkpoint(检查点):
-
含义:Checkpoint 是模型训练过程中的一个保存点,通常保存了模型的参数和优化器的状态。
-
用途:它可以在训练过程中定期保存,以便在训练过程中出现意外情况(如程序中断、崩溃等)时能够从中断的地方恢复训练,而不需要重新开始训练。
-
文件格式:通常以特定的文件格式(如
.pth
或.h5
)保存,可以包含模型的权重、优化器状态等信息。
-
-
Pretrained Model(预训练模型):
-
含义:Pretrained Model 是在大规模数据集上预先训练好的模型,通常用于解决特定的任务,如图像分类、目标检测等。
-
用途:这些预训练模型经过了大量的训练,可以作为一个很好的特征提取器,甚至可以用于迁移学习,将其应用到新的任务中,以节省训练时间并提升模型性能。
-
文件格式:通常以特定的文件格式(如
.pth
或.h5
)保存,包含了模型的权重,但可 能不包含优化器的状态.
-