azy1988-CSDN博客

原创 jetson nano 爬坑

经过长达两周时间的不停踩坑、爬坑，今天总算在jetson nano上成功安装运行了TensorFlow-GPU和Keras，经过不断测试，目前框架未发现问题。现在把我安装过程中的坑总结出来，特别是系统、软件、依赖包安装中碰到的坑，希望给有需要的同学一点帮助。鉴于上手教程网上比较多，因此建议想入坑jetson nano的同学先看看别的安装教程（https://blog.csdn.net/qianbin3200896/article/details/103760640；https://ww...

2020-08-09 23:59:22 1995 11

原创解决import torchvision._C报错“ImportError: DLL load failed: 找不到指定的模块”的问题

这个问题很有意思，我原本安装了pytorch 1.0.0，torchvision0.4.0版本，import torch、import torchvision、import torch._C都没问题。但是有一天无意调用一个from torchvision import _C as C指令时，报错“ImportError: DLL load failed: 找不到指定的模块”，网上找了一堆解决方法，...

2020-01-11 20:10:36 15497 3

原创基于知识蒸馏Knowledge Distillation模型压缩pytorch实现

在弄懂原理基础上，从本篇博客开始，逐步介绍基于知识蒸馏的增量学习、模型压缩的代码实现。毕竟“纸上得来终觉浅，绝知此事要躬行。”。先从最经典的Hilton论文开始，先实现基于知识蒸馏的模型压缩。相关原理可以参考博客：https://blog.csdn.net/zhenyu_an/article/details/101646943，既然基本原理是用一个已训练的teacher网络，去教会一个st...

2019-11-24 19:25:00 12605 12

原创基于Knowledge Distillation的增量学习论文学习（之六）——Learning without Memorizing

这是CVPR 2019的论文，在我看来，一直到这篇文章，才算是对增量学习中一个基本问题进行了研究，那就是对于基于神经网络的增量学习而言，所谓的“灾难性遗忘”到底遗忘了啥？在前面几篇文章的分析中，作者大多都是给了一个较为笼统的解释，即遗忘了基于旧样本数据训练学到的模型知识，但这个知识如何表述，基本上是从蒸馏损失的角度出发来分析。在LwM这篇文章中，作者从网络得到的注意力区域图出发，重新定义了增...

2019-10-26 23:34:03 3318 7

原创基于Knowledge Distillation的增量学习论文学习（之五）——Large Scale Incremental Learning

这是CVPR 2019的论文。旨在解决大规模增量学习的问题。显然，作者在论文中主要解决的问题是大规模数据，首先理解下作者说的“大规模”增量学习是多大？从下图作者的实验结果可以看出，作者考量的，是在类别数发生几十甚至上百个的增加时算法的性能，事实上，作者展示的例子也显示，在类别总数100以内时，作者的方法相比原始LwF提升有限，但在类别总数达到上千甚至上万时，作者的方法显著优...

2019-10-23 00:12:35 1146 2

原创基于Knowledge Distillation的增量学习论文学习（之三）——iCaRL: Incremental Classifier and Representation Learning

这是CVPR 2017的一篇论文，发表以后一直作为IL的一个基准方法被引用。作者对增量学习的观点包括如下三点：（1）增量算法可以训练不同时间出现的新数据；（2）增量算法需在旧数据集中表现良好，即可以完美解决“灾难遗忘”问题；（3）计算能力与内存应该随着类别数的增加固定或者缓慢增量。乍看下来，与LwF算法没有太大区别，但因为第（3）条的存在，给作者开了一个口子，即可以存储一部分旧...

2019-10-19 20:16:03 1574

原创基于Knowledge Distillation的增量学习论文学习（之四）——End-to-End Incremental Learning

这是ECCV2018的一个工作，提出了端到端的增量学习。动机：目前深度学习在处理增量学习问题时面临着“灾难遗忘”的问题，作者认为其主要原因是对新类别数据训练师，无法使用旧数据。为此，作者提出端到端增量学习，其思路是，选出一部分具有代表性的旧数据，与新类别数据组成训练集对模型进行更新训练。训练的损失函数包括两部分，对旧类别数据的蒸馏交叉损失，对新数据的交叉熵损失。作者的认识：一个真正的增量深...

2019-10-13 23:03:40 1908 1

原创基于Knowledge Distillation的增量学习论文学习（之二）——Learning without forgetting

本博客重点解析《Learning without forgetting》 Learning without forgetting（LwF）方法是比较早期（2017年PAMI的论文，说起来也不算早）将Knowledge Distillation与深度学习结合起来解决增量学习的工作，在该方法中，深度网络完全舍弃旧数据，而在新数据上进行训练。作者将可能具有增量学习性能的方法...

2019-10-12 21:32:27 2173

原创基于Knowledge Distillation的增量学习论文学习（之一）

最近因为项目原因，研究使用增量学习。增量学习（incremental learning）是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识，增量学习非常类似于人类自身的学习模式。因为人在成长过程中，每天学习和接收新的事物，学习是逐步进行的，而且，对已经学习到的知识，人类一般是不会遗忘的。有时增量学习与持续学习（continual learning）、终生...

2019-09-28 23:40:49 3624 1

原创如何利用predict/predict_generator对测试数据进行预测?

如何利用predict/predict_generator对测试数据进行预测?采用预训练+微调的形式处理文件夹图像数据，常常使用ImageDataGenerator与flow_from_directory函数实现对文件夹内数据的增广扩充，用fit_generator函数训练扩充的数据（参考前述博客：https://blog.csdn.net/zhenyu_an/article/details/8...

2019-04-17 23:16:33 24957 5

原创关于TensorFlow-GPU的一些坑（持续更新）

TensorFlow的GPU版本相比于CPU版本，不管是安装还是使用阶段，总是会出现各种各样意想不到的错误，这几天就碰到的问题说一说。1.训练集精度提高，测试集精度不变。同样的程序(https://github.com/azy1988/ML-CV/tree/master/MSTAR_ATR)，详细内容可参考https://blog.csdn.net/zhenyu_an/art...

2019-03-24 16:54:23 5275 1

原创如何在MSTAR SAR图像目标识别数据集中刷出99.5%的准确率？

如何在MSTAR数据集中刷出99.5%的识别准确率1、背景介绍与自然图像识别研究的快速发展不同，在遥感SAR图像识别领域，因为目标探测手段的困难，难以获取足量公开的数据集，其中美国公开的MSTAR是为数不多的、对地车辆目标进行识别的数据集。MSTAR是在二十世纪九十年代中期，美国国防高等研究计划署（DARPA）推出。通过高分辨率的聚束式合成孔径雷达采集多种前苏联目标军事车辆的SAR图像。M...

2019-03-17 16:48:04 10510 24

zhenyu_an的博客