深度神经网络的压缩和正则化

深度神经网络已经成为解决计算机视觉、语音识别和自然语言处理等机器学习任务的最先进的技术。尽管如此，深度学习算法是计算密集型和存储密集型的，这使得它难以被部署到只有有限硬件资源的嵌入式系统上。

为了解决这个限制，可以使用深度压缩来显著地减少神经网络所需要的计算和存储需求。例如对于具有全连接层的卷积神经网络（如Alexnet和VGGnet），深度压缩可以将模型大小减少35到49倍。即使对于全卷积神经网络（如GoogleNet和SqueezeNet），深度压缩也可以将模型大小减少10倍。而且上述两种压缩情况都不会降低模型预测的精度。

当前的训练方法有不足之处

压缩模型而不丢失其精确度意味着在训练好的模型中有严重的冗余，这说明当前的训练方法有不足之处。为了解决这个问题，我和来自NVIDIA的JeffPool、百度的Sharan Narang和Facebook的Peter Vajda合作开发了“密集-稀疏-密集”（DSD）的训练方法。这是一种新的方法，它首先通过稀疏约束的优化方法将模型正则化，然后通过恢复和重新训练被剪枝的连接的权重来提高预测精度。在测试时，由DSD训练得到的最终模型仍然跟原始密集型模型具有相同的架构和维度，并且DSD训练不会增加任何推理开销。我们对主流的神经网络（如CNN / RNN / LSTM）架构用DSD训练方法进行了图像分类、图像描述和语音识别的实验，发现模型有显著的性能改进。

在本文中，我们会首先介绍深度压缩，然后介绍“密集-稀疏-密集”（DSD）训练方法。

深度压缩

深度压缩的第一步是“突触剪枝”。 人类大脑是有这一剪枝过程的。从婴儿时期到成年，人脑会有5成的突触会被修剪掉。

类似的规则是否适用于人工神经网络呢？答案是肯定的。在早期的工作中，网络剪枝已经被证明是一种减少网络复杂度和过度拟合的有效方法。这种方法也适用于现代神经网络。首先我们通过常规神经网络训练来学习网络连接权重。然后我们会剪枝权重值较小的连接：即删除网络中权重值低于某一阈值的所有连接。最后，我们重新训练网络，得到剩余稀疏连接的权重值。剪枝方法使AlexNet和VGG-16模型的参数数量分别减少了9倍和13倍。