图像分类
azy1988
这个作者很懒,什么都没留下…
展开
-
基于知识蒸馏Knowledge Distillation模型压缩pytorch实现
在弄懂原理基础上,从本篇博客开始,逐步介绍基于知识蒸馏的增量学习、模型压缩的代码实现。毕竟“纸上得来终觉浅,绝知此事要躬行。”。先从最经典的Hilton论文开始,先实现基于知识蒸馏的模型压缩。相关原理可以参考博客:https://blog.csdn.net/zhenyu_an/article/details/101646943,既然基本原理是用一个已训练的teacher网络,去教会一个st...原创 2019-11-24 19:25:00 · 12627 阅读 · 12 评论 -
基于Knowledge Distillation的增量学习论文学习(之六)——Learning without Memorizing
这是CVPR 2019的论文,在我看来,一直到这篇文章,才算是对增量学习中一个基本问题进行了研究,那就是对于基于神经网络的增量学习而言,所谓的“灾难性遗忘”到底遗忘了啥?在前面几篇文章的分析中,作者大多都是给了一个较为笼统的解释,即遗忘了基于旧样本数据训练学到的模型知识,但这个知识如何表述,基本上是从蒸馏损失的角度出发来分析。在LwM这篇文章中,作者从网络得到的注意力区域图出发,重新定义了增...原创 2019-10-26 23:34:03 · 3340 阅读 · 7 评论 -
基于Knowledge Distillation的增量学习论文学习(之三)——iCaRL: Incremental Classifier and Representation Learning
这是CVPR 2017的一篇论文,发表以后一直作为IL的一个基准方法被引用。作者对增量学习的观点包括如下三点:(1)增量算法可以训练不同时间出现的新数据;(2)增量算法需在旧数据集中表现良好,即可以完美解决“灾难遗忘”问题;(3)计算能力与内存应该随着类别数的增加固定或者缓慢增量。乍看下来,与LwF算法没有太大区别,但因为第(3)条的存在,给作者开了一个口子,即可以存储一部分旧...原创 2019-10-19 20:16:03 · 1580 阅读 · 0 评论 -
如何利用predict/predict_generator对测试数据进行预测?
如何利用predict/predict_generator对测试数据进行预测?采用预训练+微调的形式处理文件夹图像数据,常常使用ImageDataGenerator与flow_from_directory函数实现对文件夹内数据的增广扩充,用fit_generator函数训练扩充的数据(参考前述博客:https://blog.csdn.net/zhenyu_an/article/details/8...原创 2019-04-17 23:16:33 · 24973 阅读 · 5 评论