语义分割基础

语义分割前言

一、什么是语义分割

语义分割时常见分割任务中的一种，常见的分割任务有以下三方面：

语义分割 (semantic segmentation）FCN
实例分割（Instance segmentation）Mask R-CNN
全景分割（Panoramic segmentation） Panoptic FPN

实例分割会更精细一点，针对不同的对象有不同的颜色。

全景分割可以理解为语义分割加实例分割，他还要对背景进行分割

二、学习规划

三、语义分割任务常见的数据集格式

1.PASCAL VOC

其中的PNG图片是用调色板的形式进行存储的，通道数为1，是单通道的。但可以让图片是彩色的，更可视化

比如像素0 对应的是（0，0，0）黑色

像素1对应的是（127，0，0）深红色

像素255对应的是（224，224，129）

讲解该数据集的一篇博客https://blog.csdn.net/qq_37541097/article/details/115787033

2.MS COCO

四、常见语义分割评价指标

从FCN原论文中总结的

举例：

对于0来说，第四个图中绿色部分表示预测正确的部分，红色部分表示预测错误的部分

一共有16个预测正确的0，将16填到右侧图的（0，0）坐标处，两个将3错误预测为0，将2填到右侧图（3，0）坐标处

同上

最终我们可以得到一个矩阵

图中公式分子为矩阵的对角线的数的和，分母为所有数的和，得到全局的正确率

也可以分别计算得到每个类别的预测正确率

上图是每个类别iou的计算，分母为类别所在行加所在列再减去预测正确的数

五、语义分割标注工具

1.labelme

https://github.com/wkentaro/labelme

使用方法的博客：

https://blog.csdn.net/qq_37541097/article/details/120162702

2.EISeg

https:// github.com/PaddlePaddle/PaddleSeg

使用方法的博客：

https://blog.csdn.net/qq_37541097/article/details/120154543

是一个半自动的标注模型， 不需要去描画出来，只需要点一下就可以框起来