CNN光流计算--FlowNet: Learning Optical Flow with Convolutional Networks

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zhangjunhit/article/details/76262429

FlowNet: Learning Optical Flow with Convolutional Networks
ICCV2015
Code: https://lmb.informatik.uni-freiburg.de/Publications/2015/DFIB15/

本文使用CNN网络来计算光流,实现端对端训练,自己制作了个训练数据库 Flying Chairs
这里写图片描述

  1. Network Architectures
    因为最后的结果需要得到像素级别的,所以需要对CNN网络得到卷积特征图进行方法

光流计算的输入是一个图像对,这里我们尝试了两个网络结构 FlowNetSimple (top) and FlowNetCorr (bottom)
这里写图片描述
FlowNetSimple 直接将两个图像放到一起输入网络
FlowNetCorr 首先分别处理单个图像,然后再用一个 correlation layer 将两个图像的特征结合起来

特征图放大网络结构 Expanding part
这里写图片描述

经过 Expanding part 处理,CNN 特征图放大了4倍,和输入图像尺寸相比缩小了4倍,再放大4倍达到输入图像尺寸有两种方法:
1)FCN中的 bilinear upsampling
2)Variational refinement
这里写图片描述

4.1. Existing Datasets
这里写图片描述
合成的数据库Flying Chairs
这里写图片描述

  1. Experiments
    这里写图片描述

这里写图片描述

FlowNet2.0 就比较厉害了!

展开阅读全文

没有更多推荐了,返回首页