模型训练与验证

本文介绍了深度学习训练过程中的关键步骤,包括构建网络模型、训练集与验证集的使用,以及如何避免过拟合。强调了在训练集上训练模型,验证集上验证精度,以确保模型的泛化能力,并提醒在划分验证集时保持其分布与测试集的一致性。
摘要由CSDN通过智能技术生成
  1. 模型训练
    网络模型构建好后,需要利用训练数据不断进行学习训练来降低loss 提高模型性能 使得最后得到的结果误差尽可能小,尽可能满足需要
    一个成熟合格的深度学习训练流程要满足:
    (1)在训练集上进行训练并在验证集上进行验证
    (2)模型可以保留最优权重,并读取权重
    (3)记录下训练集和验证集的精度,便于调参

  2. 构建验证集
    训练过程是容易出现过拟合的,也就是模型过多的学习了数据比较细枝末节的特征,而不是该类的特征,即不具备普遍性的特征,此时模型就会出现过拟合现象
    而在训练过程中要保证模型的改变不接触测试集数据,来防止对测试集数据出现过拟合现象。这时候就需要验证集来验证模型的精度

  3. 一般情况下,可在本地划分出一个验证集,进行本地验证。训练集、验证集和测试集作用如下:
    训练集(Train Set):模型用于训练和调整模型参数
    验证集(Validation Set):用来验证模型精度和调整超参数
    测试集(Test Set):验证模型的泛化能力
    因为训练集和验证集是分开的,所以模型在验证集上的精度在一定程度上可以反映模型的泛化能力。在划分验证集的时候,需要注意验证集的分布与测试集尽量保持一致,不然模型在验证集上的精度就失去了指导意义。

加载训练集

train_path = glob.glob(r'./dataset/mchar_train/*.png')
train_path.sort()
train_json = json.load(open('./dataset/mchar_train.json'))
train_lebel = [train_json[x]['label'] for x in train_json]
print(len(train_path),len(train_lebel))

train_loader = torch.utils.data.DataLoader(
    SVHNDataset(train_path,train_lebel,
               transforms.Compose([
                   transforms.Resize
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值