pytorch参数初始化方法

参数的初始化其实就是对参数赋值。

所以我们可以进行如下操作进行初始化,当然其实有其他的方法,但是这种方法是PyTorch作者所推崇的:

import torch.nn.init as init import的语句
def weights_init_classifier(m):
    classname = m.__class__.__name__#得到网络层次的名字,如Convtransposed2d
    if classname.find('Linear') != -1:#使用了find函数,如果不存在返回值为-1,所以让其不等于-1
        # init.normal(m.weight.data, std=0.001
        init.xavier_normal(m.weight.data, std=0.001)
        init.constant(m.bias.data, 0.0)

apply(fn):将fn函数递归地应用到网络模型的每个子模型中,主要用在参数的初始化。

使用apply()时,需要先定义一个参数初始化的函数。

model=net()

model.apply(weight_init)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值