zhongshaoyy的博客

原文地址：http://blog.csdn.net/stdcoutzyx/article/details/53151038引入Discriminative Model的繁荣发展最近，深度学习在很多领域的突破性进展想必不用我多说了。但大家似乎发现了这样的一个现实，即深度学习取得突破性进展的地方貌似都是discriminative的模型。所谓的discriminativ

原文地址：https://zhuanlan.zhihu.com/p/25071913  作者：郑华滨在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《Wasserstein GAN》却在Reddit的Machine Learning频道火了，连Goodfellow都在帖子里和大家热烈讨论，这篇论文究竟有什么了不得的地方呢？ 要知道自从201

本文是阅读Hinton 大神蒸馏神经网络论文的笔记，特此说明。此文读起来很抽象，但是和我的研究方向：神经网络的压缩十分相关，因此决定花气力好好理解一下。 1、Introduction  文章开篇用一个比喻来引入网络蒸馏：昆虫作为幼虫时擅于从环境中汲取能量，但是成长为成虫后确是擅于其他方面，比如迁徙和繁殖等。同理神经网络训练阶段从大量数据中获取网络模型，训练阶段可以利用大量的计算资源且不需要

Network In Network学习笔记原文地址：http://blog.csdn.net/hjimce/article/details/50458190作者：hjimce一、相关理论本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采

一个利用低精度和量化技术实现的神经网络压缩与加速方案。 个人认为，这是低精度量化方面少有的具有一定工程可行性的方案(虽然文中没有给出详细的模型大小速度方面的指标)。文章链接： 《ShiftCNN: Generalized Low-Precision Architecture for Inference of Convolutional Neural Networks》模型转换示例代

之前pruning操作都是针对于W矩阵，本文另辟蹊径采取对channel进行pruning的方式来减小运算量。来自ICCV2017，是作者在Face++完成的工作。 PDF Code作者基于CNN每一层都是稀疏地假设，考虑是否能找到neuron之间的关系，仅留下最具有代表性地neuron？分为两步解决问题：找出每一层具有代表性地neuron，我们利用lasso r