- 博客(6)
- 收藏
- 关注
RSS订阅原创 TransUnet使用自己的数据集复现求改进（抛砖引玉交流贴）
在使用过多个基于transformer的开源网络过后，包括segformer、objectformer、swinunet、transfuse等，发现加载官方公布的预训练权重的transunet在自己的任务上表现最好（我的方向是图像复制篡改检测，就是一种二分类语义分割），在不做任何修改的情况仅重新成功训练就有远超普通全卷积网络的能力，（这里仅指transunet的R50-ViT-B_16这种卷积后接transformer的形式，而同样加载预训练权重的纯vit模型表现就不尽如人意了，很不理解？
2023-07-02 16:54:28
2842
17
原创 Hybrid LSTM and Encoder-Decoder Architecturefor Detection of Image Forgeries的复现梳理
Hybrid LSTM and Encoder-Decoder Architecturefor Detection of Image Forgeries的复现梳理
2022-04-13 09:43:12
4289
8
原创 keras添加可训练的变量
因为我的网络涉及到注意力机制，实现中需要添加几个可训练的系数与各层中的特征图乘在一起，最后再求和，这样在训练后可以得到比较好各层的特征图权值。因为用的tf2.2，感觉tf.variable不太合适，也没测试（哪位兄弟试过也可以告知一下）搜了一下发现用keras搭一个继承Layer层即可，核心很简单，但网上我找到的都是创建一个自适应的权重矩阵，而我需要的只是一个权重系数，也就是一个标量，试了很久把网上各位大佬的也没法改好，又查了下矩阵与标量的相乘函数，发现了一个问题还没人提到，有必要记录一下。cla
2022-02-15 11:41:41
1785
4
原创 ValueError: Weights for model sequential have not yet been created. Weights are created when the Mod
如果在加载权重时报错如上，可以检查在创建模型后是否有model.build（input_shape=...）这段，之后再使用model.load_weights，因为直接下载别人的程序训练很容易遗忘这一步，这也不影响跑训练，而不使用继承tf.keras.Model的方法而直接搭建的模型在训练保存与加载时往往不用这句代码，可能会造成很想当然又很迷茫的错误。...
2022-02-08 14:40:57
3827
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人