计算机视觉，有哪些新的研究方向值得关注

注意力机制在近年来是一个大热门。

其中，一种经典的注意力机制算法是Squeeze-and-Excitation Network，它通过一个小型的子网络，自动获得一组权重，对各个特征通道进行加权
注意力机制在近年来是一个大热门。

其他大部分的注意力机制算法，也都是特征加权的形式。

在数据含有较多噪声时，可以考虑把“特征加权”给换成“软阈值化”。软阈值化是信号降噪算法的常用步骤，其公式如下：

而且，软阈值化的梯度，要么为0，要么为1，这是和ReLU一样的，也有利于避免梯度消失和爆炸：

深度残差收缩网络就是一种“注意力机制”+“软阈值化”的深度学习方法。不仅如此，深度残差收缩网络还设计了一个独特的子网络，来自动设置软阈值化所涉及的阈值。