这篇文章介绍了一种新的双目视差计算框架,Cascade Residual Learning。
近年来,在MC-CNN的启发下,视差计算算法成为了一种可以用学习解决的问题。文章总结了近年来基于CNN的视差算法,主要可以分为一下三种:
1. Matching cost Learning:这种方法主要将CNN用于匹配代价计算,辅之以一些经典的后处理方法,以得到比较好的视差图。主要代表有:
- Han et al.的MatchNet:提出了Siamese 结构
- Zbontar的MC-CNN:提出将CNN用于提取patch特征用于计算patch simularity,同时,他们将视差计算问题当做一个二分类问题,采取正负样本抽样、使用hinge loss 训练cost 计算网络
- Luo 等人将该问题变换为一个概率分布学习问题
这些方法都取得了非常不错的效果,可是他们都需要对生成的视差图比较繁杂的后处理,才能得到最后的结果。
2. Regularity Learning
3. End-to-end disparity learning: 通过细心的设计网络的结构,我们可以通过端到端的方式直接学习得到精细的视差图。这种框架的主要代表有:
- Mayer等人提出的DispNet,这种方法被用来学习合成的双目图像对。该方法还被用于光流计算,FlowNet 2.0便由此而来。
- GC-Net用3D卷积网络学习上下文信息,以计算视差图
- 在单目视差估计领域,监督的非监督的方法都实现了端到端的视差生成,并且,他们只需要少量的训练样本。
- CVPR 2017, 有人提出将CNN+CRF混合模型,也实现了双目视差的end-to-end计算。
论文中的算法属于第三种,