[PED10]Invariance and Stability of Deep Convolutional Representations

Alberto Bietti, Julien Mairal

1.论文通过构造一个多层的深度卷积核网络，并且研究对应的再生核希尔伯特空间的几何结构，来研究深度信号表示的平移不变性以及微分同胚作用的稳定性，既不会丢失信号的信息。

2.首先定义了连续域空间中的信号的操作，patch extraction、kernel map、linear pooling。然后进行离散化，并且说明了了离散信号通过这些操作可以进行信号的保存和恢复。关于核近似，这里通过有限维的近似形成卷积核网络的模型，并且RKHS（再生核希尔伯特空间）的映射是通过对有限维的子空间的映射来近似获得的。这个近似是兼容的，也就是说近似的映射也在相应的RKHS中，并且由于这个映射的非扩展性，使得稳定性也得到了保存。

3.接下来文章对变形和平移不变性和稳定性进行了说明，利用微分同胚的知识，用下面这个公式来进行稳定的描述（表示）：

 

然后对右边进行bound

          

最后得到上述结论，与（4）式的所需的格式相匹配，和散射变换不同的是，由于pooling层的原因，随着深度的增加而减小。但是这种情况可以通过增加一个非线性的预测层进行缓解。 

对核近似的稳定性进行说明，在RKHS层的有穷维子空间上增加映射的步骤，并重新定义了核映射操作符，这样也不保持范数不变了，丢失的信息对应点z(u)上的核近似的质量。由于增加的映射的非扩张性，也具有非扩张性。

4.讨论变换群的全局不变性。

前面讨论的是用于保证局部变换稳定性的背部pooling层，而全局不变性主要是通过最后一个pooling层实现的。

5.核表示与CNN之间的联系。

RKHS范数较小的函数(即“大边界”)可以更好地泛化未知数据，也就是说少量的样本就能获得很好的泛化性能。