zhenyu_an的博客

在弄懂原理基础上，从本篇博客开始，逐步介绍基于知识蒸馏的增量学习、模型压缩的代码实现。毕竟“纸上得来终觉浅，绝知此事要躬行。”。先从最经典的Hilton论文开始，先实现基于知识蒸馏的模型压缩。相关原理可以参考博客：https://blog.csdn.net/zhenyu_an/article/details/101646943，既然基本原理是用一个已训练的teacher网络，去教会一个st...

这是CVPR 2019的论文，在我看来，一直到这篇文章，才算是对增量学习中一个基本问题进行了研究，那就是对于基于神经网络的增量学习而言，所谓的“灾难性遗忘”到底遗忘了啥？在前面几篇文章的分析中，作者大多都是给了一个较为笼统的解释，即遗忘了基于旧样本数据训练学到的模型知识，但这个知识如何表述，基本上是从蒸馏损失的角度出发来分析。在LwM这篇文章中，作者从网络得到的注意力区域图出发，重新定义了增...

这是CVPR 2019的论文。旨在解决大规模增量学习的问题。 显然，作者在论文中主要解决的问题是大规模数据，首先理解下作者说的“大规模”增量学习是多大？从下图作者的实验结果可以看出，作者考量的，是在类别数发生几十甚至上百个的增加时算法的性能，事实上，作者展示的例子也显示，在类别总数100以内时，作者的方法相比原始LwF提升有限，但在类别总数达到上千甚至上万时，作者的方法显著优...

这是ECCV2018的一个工作，提出了端到端的增量学习。动机：目前深度学习在处理增量学习问题时面临着“灾难遗忘”的问题，作者认为其主要原因是对新类别数据训练师，无法使用旧数据。为此，作者提出端到端增量学习，其思路是，选出一部分具有代表性的旧数据，与新类别数据组成训练集对模型进行更新训练。训练的损失函数包括两部分，对旧类别数据的蒸馏交叉损失，对新数据的交叉熵损失。 作者的认识：一个真正的增量深...

本博客重点解析《Learning without forgetting》 Learning without forgetting（LwF）方法是比较早期（2017年PAMI的论文，说起来也不算早）将Knowledge Distillation与深度学习结合起来解决增量学习的工作，在该方法中，深度网络完全舍弃旧数据，而在新数据上进行训练。 作者将可能具有增量学习性能的方法...

这是CVPR 2017的一篇论文，发表以后一直作为IL的一个基准方法被引用。作者对增量学习的观点包括如下三点：（1）增量算法可以训练不同时间出现的新数据；（2）增量算法需在旧数据集中表现良好，即可以完美解决“灾难遗忘”问题；（3）计算能力与内存应该随着类别数的增加固定或者缓慢增量。乍看下来，与LwF算法没有太大区别，但因为第（3）条的存在，给作者开了一个口子，即可以存储一部分旧...

最近因为项目原因，研究使用增量学习。增量学习（incremental learning）是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识，增量学习非常类似于人类自身的学习模式。因为人在成长过程中，每天学习和接收新的事物，学习是逐步进行的，而且，对已经学习到的知识，人类一般是不会遗忘的。有时增量学习与持续学习（continual learning）、终生...