深度残差收缩网络：注意力机制和软阈值化的集成

深度残差收缩网络（deep residual shrinkage networks）是深度残差学习（deep residual learning, ResNet）的一种改进形式。具体而言， 深度残差收缩网络是在ResNet的内部集成了注意力机制和软阈值化，加强深度学习方法从含噪声信号中学习判别性特征的能力，提高分类准确率。以下根据自己的理解，对深度残差收缩网络进行解释。

1. 动机

首先，在许多分类任务中，样本中往往含有各种噪声，比如高斯噪声、粉色噪声等。更宽泛地讲，样本中可能包含着与当前分类任务无关的信息。

比如说，在很多情况下，所需要分类的图片，不仅包含与标签所对应的目标物体，而且包含着与标签无关的物体。这些与标签无关的物体，就可以理解为噪声。这些物体所对应的特征，就需要被滤除掉，以免对当前分类任务造成干扰。或者说，如果我们在马路边聊天，我们聊天的声音可能会混杂了一些车辆的鸣笛声、车轮声。如果对这种信号进行语音识别，识别的准确率就会受到鸣笛声、车轮声的干扰。因此，这些鸣笛声、车轮声所对应的特征，就应该在深度学习算法内部被滤除掉，以免对语音识别任务造成影响。

其次，在同一批样本中，各个样本所包含的噪声往往是不同的。

比如说，我们要训练一个猫狗分类器。对于标签为“狗”的五张训练图像，第一张图片可能包含了狗和老鼠，第二张图片可能包