WDSR——论文代码笔记

最新推荐文章于 2020-08-26 16:40:38 发布

zzwwllii

最新推荐文章于 2020-08-26 16:40:38 发布

阅读量1k

点赞数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/zhangwl27/article/details/88388490

版权

WN的理解

1、计算梯度 grads
2、获得lr，如果需要衰减就对应衰减
3、迭代次数更新 t=iterations+1

4、计算本次迭代的lr，lr_t = lr*sqrt(1-pow(beta_2,t))/(1-pow(beta_1,t))

初始状态
params：初始值
grads：根据p和loss计算得到
ms：初始为0，不断更新
vs：初始为0，不断更新

根据parms、grads计算g和V
因为 W = (g/||V||)*V，其中V_scaler = g/||V||，则W = V_scaler*V
V_scaler = g/||V||，初始化为1，也是不断更新的
W已知，V_scaler也已知，可得到 V = W/V_scaler
根据V计算||V||
再根据V_scaler和||V||，得到g=V_scaler*||V||
计算g和V的梯度，根据论文里边的公式，用到grads

用Adam方法更新g和V
用新的g和V更新W
用V计算||V||
V_scaler = g/||V||得到更新
W = V_scaler*V

更新g、v、p

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
WDSR——论文代码笔记

论文链接代码链接WN的理解1、计算梯度 grads2、获得lr，如果需要衰减就对应衰减3、迭代次数更新 t=iterations+14、计算本次迭代的lr，lr_t = lr*sqrt(1-pow(beta_2,t))/(1-pow(beta_1,t))初始状态params：初始值grads：根据p和loss计算得到ms：初始为0，不断更新vs：初始为0...
复制链接

扫一扫

zzwwllii CSDN认证博客专家 CSDN认证企业博客

码龄13年

16: 原创

12万+: 周排名

59万+: 总排名

3万+: 访问

: 等级

633: 积分

4: 粉丝

6: 获赞

6: 评论

58: 收藏

私信

关注

热门文章

分类专栏

RS 2篇
OCR 2篇
VideoRecommendation 7篇

最新评论

快手ppnet模型
CSDN-Ada助手: 非常感谢您的分享，快手ppnet模型真的很有趣！我觉得您可以写一篇关于如何使用ppnet模型进行图像分类的技术文章。这样的文章对其他对图像处理感兴趣的读者非常有帮助，可以深入了解ppnet模型的应用和优势。期待您的下一篇文章，相信会有更多读者受益！为了方便博主创作，提高生产力，CSDN上线了AI写作助手功能，就在创作编辑器右侧哦～（https://mp.csdn.net/edit?utm_source=blog_comment_recall ）诚邀您来加入测评，到此（https://activity.csdn.net/creatActivity?id=10450&utm_source=blog_comment_recall）发布测评文章即可获得「话题勋章」，同时还有机会拿定制奖牌。
Wide Activation for Efficient and Accurate Image Super-Resolution（WDSR）
zhonglingyuxiuYYX: 请问weight norms是加在了残差模块的每一个卷积层后面吗？我理解的是相比较原本resnet中，用bn层的全都换成了wn层，是这样吗？ [code=python] ##### head.append( wn(nn.Conv2d(args.n_colors, n_feats, 3, padding=3//2))) ##### for i in range(n_resblocks): body.append( Block(n_feats, kernel_size, args.block_feats, wn=wn, res_scale=args.res_scale, act=act)) ##### tail = [] out_feats = scale*scale*args.n_colors tail.append( wn(nn.Conv2d(n_feats, out_feats, 3, padding=3//2))) tail.append(nn.PixelShuffle(scale)) skip = [] skip.append( wn(nn.Conv2d(args.n_colors, out_feats, 5, padding=5//2)) ) skip.append(nn.PixelShuffle(scale)) [/code]
Wide Activation for Efficient and Accurate Image Super-Resolution（WDSR）
zhonglingyuxiuYYX: 请问weight norms是加在了残差模块的每一个卷积层后面吗？我理解的是相比较原本resnet中，用bn层的全都换成了wn层，是这样吗？ [code=python] ##### head.append( wn(nn.Conv2d(args.n_colors, n_feats, 3, padding=3//2))) ##### for i in range(n_resblocks): body.append( Block(n_feats, kernel_size, args.block_feats, wn=wn, res_scale=args.res_scale, act=act)) ##### tail = [] out_feats = scale*scale*args.n_colors tail.append( wn(nn.Conv2d(n_feats, out_feats, 3, padding=3//2))) tail.append(nn.PixelShuffle(scale)) skip = [] skip.append( wn(nn.Conv2d(args.n_colors, out_feats, 5, padding=5//2)) ) skip.append(nn.PixelShuffle(scale)) [/code]
WDSR——论文代码笔记
zhonglingyuxiuYYX: 请问weight norms是加在了残差模块的每一个卷积层后面吗？我看这个意思除了残差块以外，原本resnet中用bn层的都换成了wn层，是这样吗？[code=python]head.append( wn(nn.Conv2d(args.n_colors, n_feats, 3, padding=3//2))) for i in range(n_resblocks): body.append( Block(n_feats, kernel_size, args.block_feats, wn=wn, res_scale=args.res_scale, act=act)) tail = [] out_feats = scale*scale*args.n_colors tail.append( wn(nn.Conv2d(n_feats, out_feats, 3, padding=3//2))) tail.append(nn.PixelShuffle(scale)) skip = [] skip.append( wn(nn.Conv2d(args.n_colors, out_feats, 5, padding=5//2)) ) skip.append(nn.PixelShuffle(scale)) [/code]
Wide Activation for Efficient and Accurate Image Super-Resolution（WDSR）
zzwwllii 回复 weixin_43865030: 你可以看一下后边一篇文章 https://blog.csdn.net/zhangwl27/article/details/88388490

大家在看

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。