对象分割--Instance-sensitive Fully Convolutional Networks

Instance-sensitive Fully Convolutional Networks
ECCV2016

Instance-sensitive 这里是什么意思了， FCN 语义分割对同一类型的对象是不区分的，Instance-sensitive 就是区分同一类型的对象。

上图 c 就是 semantic segmentation， d 是 instance segmentation

本文是在 FCN 的基础上将同一类型的对象区分开来，即修改 FCN 的框架使其可以完成 instance segmentation

3 Instance-sensitive FCNs for Segment Proposal
3.1 From FCN to Instance FCN
当图像只有一个对象时，FCN 的结果就是 instance segmentation
当图像有两个相近的同类型对象时，怎么让FCN完成 instance segmentation了？如果对于两个相近同类型对象的相近区域，where one object is conjunct the other，如果我们能够区分谁是 left instance的右边，谁是 right instance 的左边，那么我们就可以用 FCN-like score maps 得到 instances

有没有 DPM Deformable Part Models 的意思，就是使用部件组成一个对象，这样就可以将对象区分开来。

Instance-sensitive score maps
这里我们在 FCN 中引入 relative positions 信息，原始FCN 中每个输出像素是 a classifier of an object category， 本文的FCN 每个输出像素是 a classifier of relative positions of instances

original FCN [1] where each output pixel is a classifier of an object category, we propose an FCN where each output pixel is a classifier of relative positions of instances.

instance-sensitive score maps

Instance assembling module
这个模块就是将各个部件组合起来构成一个 instance

整个系统如下图所示：

这里用一个小网络得到 objectness score，用于过滤 instances， 得到 highly scored output instances

本文主要和 deep mask 做对比：

该方法的问题：
1）对象尺寸问题，需要对多尺度图像进行处理
Only a fixed-size square sliding window is used.
The network is applied on multi-scale images to find object instances of different sizes.

2） 对象类别问题，需要再对 对象 进行分类得到类别信息
The approach is blind to the object categories. Only a separate “objectness” classifica-
tion sub-network is used to categorize the window as object or background. For the instance-aware semantic segmentation task, a separate downstream network is used to further classify the mask proposals into object categories