目标检测 | RCNN算法系列汇总+详解(包括Fast, Faster)

已于 2022-03-03 16:53:03 修改
阅读量8.7k 收藏 66
点赞数 11
分类专栏： 学习笔记 文章标签： 算法 目标检测 计算机视觉
于 2022-03-02 20:48:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zivid_liu/article/details/123228058
版权

资料汇总选自
B站大佬：霹雳吧啦Wz
csdn大佬：gentelyang 以及 小白的深度学习之路 以及 shenxiaolu1984 以及 嘟嘟_猪
注：本文为学习记录笔记，如表述错误或侵权，烦请提示指出；如果有不能理解的部分，可以前往以上博主的文章中查看更详细的说明，并且还有更详尽的视频讲解。

一、RCNN

在这里插入图片描述

1. 介绍

RCNN（Regin with CNN feature）由Ross Girshick提出，很大程度的提升了识别效率，是卷积神经网络应用于目标检测问题的一个里程碑的飞跃。具有良好的特征提取和分类性能，采用RegionProposal方法实现目标检测问题。

在这里插入图片描述

2. 步骤流程

在这里插入图片描述

  1. 使用区域建议 (Region Proposal) 生成候选区域（使用Select Search算法，简称SS算法）→矩阵框
  2. rescale将图片缩放到相同的尺寸，然后每个候选区域逐个放入深度网络中提取特征（图片分类网络→特征向量）
  3. 特征送入SVM分类器中，判别二分类的类别，然后使用非极大值抑制剔除重叠框
  4. 使用bbox边界回归器修正候选框位置→最小二乘积解决回归问题，即候选框映射到实际框的回归

注意，上面的主要步骤将第三大步分为两小部分，分别为3. 和 4.

3. 部分详解

非极大值抑制
先了解 IoU（Intersection over Union）= (A ∩ B) / (A ∪ B)
在这里插入图片描述

非极大值抑制剔除重叠建议框过程：

  • 寻找通过二分类框住的得分最高的目标
  • 计算它与其他目标的IoU值
  • 删除大于设置的阈值的目标
  • 返回第一步，遍历所有的目标后取得最好的建议框

在这里插入图片描述

4. 缺点

  1. 候选框之间存在重叠，提取特征操作冗余
  2. 对于传统cnn，需要标准化图像输入，这种图片的形变会导致特征量减小或损失
  3. 训练速度繁琐，每个操作独立（需要训练图像分类网络，svm分类器，bbox边界框回归器）
  4. 占领大量的磁盘空间来提取多个候选区域的图像

二、Fast RCNN

在这里插入图片描述

1. 介绍：

Fast RCNN 由 Ross Girshick 在RCNN的基础上改进，提升了测试和训练速度。从框架上比较，将三大步骤提升为两步骤，有效解决了输入图片尺寸不一致，占用内存大等问题。注意，下面的主要步骤将第二大步分为两小部分。

2. 步骤流程

在这里插入图片描述

  1. 候选区域生成方法不变，即ss算法随机采样获得候选框。
  2. 将尺寸不一的整幅图输入cnn，获得特征图；将候选区域映射到特征图feature map中得到特征矩阵
  3. 特征矩阵通过ROI Pooling层（最大池化下采样，不限制输入尺寸大小）缩放到固定尺寸的特征图，展平+两个全连接得到RoIfeature vector；然后并行分别操作全连接层，一个使用softmax loss分类器得到类比概率，一个bbox边界框回归器训练。

3. 部分详解

3.1 ROI Pooling层
将候选区域分成m*n个快。针对每个快执行最大池化下采样操作，是的特征映射上不同大小的候选区域变为尺寸大小的特征向量，然后传入下一层。好处：不限制输入图像的特征，yyds

3.2 softmax loss分类器
输出N+1个类别的概率，1为背景部分，即有N+1个节点。
符合概率分布，和为1

3.3 bbox边界框回归器
输出对应N+1个类别的候选边界框回归参数，即框的真实坐标位置，共(N+1)x4个节点
在这里插入图片描述

3.4 Fast RCNN 损失函数-Multi-task loss

在这里插入图片描述

3.4.1 Fast RCNN分类损失函数

  • 分类损失 = softmax的交叉熵损失
    在这里插入图片描述
    在这里插入图片描述

3.4.2 边界框回归损失
在这里插入图片描述

  • 其中，[u≥1]是艾弗森括号，即if u ≥ 1，[u≥1] =1；if u ＜ 1，[u≥1] =0。解释：当为1时，即候选框为目标，可以进行边界框回归损失，当为0，即候选框为背景，不用继续进行。
  • 当结束回归损失后，可以进行反向传播来训练整个fast rcnn网络。

更多损失对比详细可见：《回归损失函数1：L1 loss, L2 loss以及Smooth L1 Loss的对比》

4. 比较

相比RCNN，主要有以下不同：

  1. ※最后一层卷积层后增加了一个 ROI Pooling layer，不需要进行尺度变化，避免像素的损失和特征损失
  2. ※损失函数使用多任务损失函数，即 Multi-task loss
  3. 整张图片输入CNN
  4. 将类别判断和位置回归同意用深度网络实现，不需要额外的存储

三、Faster RCNN

在这里插入图片描述

1. 介绍

Faster RCNN是作者的升级版本，目标检测的四个基本步骤（候选区域生成，特征提取，分类，位置精修）终于被统一到一个整体，即深度网络框架之内。它同样使用VGG16作为网络主干，推理速度和准确率有了很大的提升，在当时各种竞赛中获得多个项目的第一名。

特点：

  • Faster RCNN 由两个模块组成的：RPN区域生成网络候选框提取模块+Fast RCNN分类和回归检测模块。
  • 因为仍需要先生成候选区域，再进行分类，所以它仍被划分在两阶段（two-stage）的目标检测网络。
  • 将RPN（region proposal network）替代SS算法。

2. 步骤流程

在这里插入图片描述
实现端对端的过程，将训练及预测一体。

  1. 图片输入网络得到特征图，即feature map
  2. 使用RPN网络生成候选框（图中灰色三个框），将其投影到特征图上得到对应的特征矩阵（图中全黑框中的三个白色框）
  3. 每个特征矩阵通过ROI Pooling层缩放到规定一致的特征图（7x7），将特征图展平通过一系列全连接层得到预测结构

3. 部分详解

3.1 候选区域/c窗口 anchor锚点
特征可以看做一个尺度51×39的256通道图像（基于ZF网络的backbone），对于该图像的每一个位置，考虑9个可能的候选窗口：三种面积{128x128,256x256,515x512} × 三种形状{1:1,1:2,2:1}。
下图表示出尺度为51×39个anchor中心，以及3×3=9种的anchor示例。
在这里插入图片描述

在整个faster RCNN算法中，有三种尺度。
原图尺度：原始输入的大小。不受任何限制，不影响性能。
归一化尺度：输入特征提取网络的大小，在测试时设置，源码中opts.test_scale=600。anchor在这个尺度上设定。这个参数和anchor的相对大小决定了想要检测的目标范围。
网络输入尺度：输入特征检测网络的大小，在训练时设置，源码中为224*224。

3.2 RPN（region proposal network）
RPN是全卷积神经网络，其内部与普通卷积神经网络不同之处在于是将CNN中的全连接层变成卷积层。

操作如下：
在这里插入图片描述

RPN的实现方式：在conv5-3的卷积feature map上用一个nn的滑窗（论文中作者选用了n=3，即33的滑窗）生成一个长度为256（对应于ZF网络）或512（对应于VGG网络）维长度的全连接特征。然后在这个256维或512维的特征后产生两个分支的全连接层：

  • reg-layer，用于预测proposal的中心锚点对应的proposal的坐标x，y和宽高w，h；
  • cls-layer，用于判定该proposal是前景还是背景.sliding window的处理方式保证reg-layer和cls-layer关联了conv5-3的全部特征空间.事实上，作者用全连接层实现方式介绍RPN层实现容易帮助我们理解这一过程，但在实现时作者选用了卷积层实现全连接层的功能。
    在这里插入图片描述

全连接层本来就是特殊的卷积层，如果产生256或512维的fc特征，事实上可以用Num_out=256或512, kernel_size=3x3, stride=1的卷积层实现conv5-3到第一个全连接特征的映射.然后再用两个Num_out分别为2x9=18和4x9=36，kernel_size=1xx1，stride=1的卷积层实现上一层特征到两个分支cls层和reg层的特征映射。

这里2x9中的2指cls层的分类结果包括前后背景两类，4x9的4表示一个Proposal的中心点坐标x，y和宽高w，h四个参数.采用卷积的方式实现全连接处理并不会减少参数的数量，但是使得输入图像的尺寸可以更加灵活。在RPN网络中，我们需要重点理解其中的anchors概念，Loss fucntions计算方式和RPN层训练数据生成的具体细节。

3.3 损失函数

3.3.1 anchors的标点方法
正样本标定规则：

  • 如果Anchor对应的reference box与ground truth的IoU值最大，标记为正样本
  • 如果Anchor对应的reference box与ground truth的IoU>0.7，标记为正样本
  • 对于一些极端情况，例如所有的Anchor对应的reference box与groud truth的IoU不大于0.7,可以采用第一种规则生成

负样本标定规则：

  • 如果Anchor对应的reference box与ground truth的IoU<0.3，标记为负样本

剩下的既不是正样本也不是负样本，直接去除，不用于最终训练

3.3.2 RPN多任务损失函数（RPN Multi-task Loss）

RPN Multi-task Loss=classification loss （即softmax loss）+ regression loss （即L1 loss）
在这里插入图片描述
在这里插入图片描述
3.3.3 Fast R-CNN 多任务损失函数（Fast R-CNN Multi-task Loss）
在这里插入图片描述
这里的Fast R-CNN 多任务的分类损失和边界框回归损失已经讲过了，跟上面的是一致的。

4. 缺点

  • 无法达到实时检测
  • 虽然简化了运行内存，但每个候选框的分类计算还是很大

四、总体对比

在这里插入图片描述

刺猬文川Zivid
关注
  • 11
    点赞
  • 踩
  • 66
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
R-CNN、Fast RCNN和Faster RCNN网络介绍
chase
08-02 5339
R-CNN、Fast RCNN和Faster RCNN网络介绍
【目标检测经典算法】R-CNN、Fast R-CNN和Faster R-CNN详解系列二：Fast R-CNN图文详解
CV在读
03-13 1623
论文中从2000个候选框中选择64个候选框进行训练使用，其中如果与真实目标边界框的IOU值>0.5，则被认定为正样本，负样本则是与真实候选框的IOU值最大的且在(0.1 , 0.5]范围内的。
目标检测 | R-CNN、Fast R-CNN与Faster R-CNN理论讲解
最新发布
houjingchuan的博客
05-29 2132
目标检测：R-CNN、Fast R-CNN与Faster R-CNN理论讲解，根据B站up霹雳吧啦Wz总结。此文章包含R-CNN算法原理讲解、Fast R-CNN算法原理讲解、Faster R-CNN原理讲解、目标检测评价指标介绍与特征金字塔网络FPN讲解。
【机器学习】经典目标检测算法：RCNN、Fast RCNN、 Faster RCNN 基本思想和网络结构介绍
qq_44832832的博客
12-04 4651
R-CNN系列（R-CNN,fast-RCNN,faster-RCNN）是使用深度学习进行物体检测的鼻祖论文，其中fast-RCNN 以及faster-RCNN都是延续R-CNN的思路。R-CNN全称region with CNN features，其实它的名字就是一个很好的解释。用CNN提取出Region Proposals中的featues，然后进行SVM分类与bbox的回归（定位置）。【RCNN网络结构】 重要思想： （1）通过专门模板去生成候选框（RPN）,寻找前景以及调整边界框（基于锚框） （2）
Fast R-CNN讲解
weixin_43702653的博客
04-07 2万+
Fast R-CNN
【目标检测算法】R-CNN（详解）
风口IT猪的成长录
08-14 1万+
目标检测算法之R-CNN学习目标1. 目标检测-Overfeat模型1.1 滑动窗口1.2 Overfeat模型总结2. 目标检测-R-CNN模型2.1 完整R-CNN结构2.2 候选区域（Region of Interest）得出2.3 CNN网络提取特征2.4 特征向量训练分类器SVM2.5 非最大抑制（NMS）2.6 修正候选区域3. 检测的评价指标3.1 IoU交并比3.2 平均精确率（mean average precision）map4. R-CNN总结4.1 流程总结4.2 缺点5. 总结6.
目标检测算法——Fast R-CNN
Clichong
06-05 6040
文章目录1.Fast R-CNN简介2.Fast R-CNN处理过程1）候选区域的生成2）投影特征图获得相应的特征矩阵3）ROI层缩放4）展平特征图利用全连接层得到预测结果。3.Fast R-CNN损失函数4.Fast R-CNN总框架 1.Fast R-CNN简介 Fast R-CNN 其论文的名字就是 Fast R-CNN，原文链接。Fast R-CNN与R-CNN相同，同样使用VGG16作为网络的backbone，与R-CNN相比训练时间快9倍，测试推理时间快213倍，准确率从62%提升至66%(再P
R-CNN(目标检测算法)介绍
Sea__c的博客
10-22 3426
因为一个框可以用四个值来表示（x,y,w,h）分别是框的中心点横坐标，中心点纵坐标，宽，高。由于物体标签训练数据少，如果要直接采用随机初始化CNN参数的方法,目前的训练数据量是不够的. 基于此，采用有监督的预训练，使用一个大的数据集（ImageNet )来训练AlexNet，得到一个1000分类的预训练（Pre-trained）模型。目标检测不仅需要确定目标的类别，还要找到目标在图像中的位置.由于各类目标不同的外观，颜色，大小以及在成像时光照，遮挡等具有挑战性的问题，目标检测一直处于不断的优化和研究中.
目标检测——R-CNN系列检测算法总结
lishanlu136的博客
12-04 830
R-CNN系列检测算法总结
使用mmdetection训练目标检测算法-支持fasterrcnn+retinanet等算法-项目源码
04-28
**mmdetection训练详解** **一、mmdetection简介** mmdetection是阿里云M6团队开源的一个基于PyTorch的、全面且可扩展的目标检测框架。它集成了多种先进的目标检测算法，如Faster R-CNN、Mask R-CNN、RetinaNet等...
rcnn+fastRcnn+fasterRcnn目标检测matlab代码及经典文章
07-07
在这个领域，有三个里程碑式的工作——RCNN（Region-based Convolutional Neural Networks）、Fast R-CNN和Faster R-CNN，它们极大地推动了深度学习在目标检测上的发展。下面将详细介绍这三个算法及其在Matlab中的...
从RCNN到SSD，这应该是最全的一份目标检测算法盘点.docx
10-13
目 标检测是很多计算机视觉任务的基础，不论我们需要实现图像与文字的交互还是需要识别精细类别，它都提供了可靠的信息。本文对目标检测进行了整体回顾，第一 部分从RCNN开始介绍基于候选区域的目标检测器，包括Fast R-CNN、Faster R-CNN 和 FPN等。第二部分则重点讨论了包括YOLO、SSD和RetinaNet等在内的单次检测器，它们都是目前最为优秀的方法。
RCNN代码实现目标自动识别和人脸识别
12-08
实现RCNN的源码，主要用于进行目标自动识别和人脸识别
faster-rcnn+fpn+resnet+目标检测
04-07
标题中的“faster-rcnn+fpn+resnet+目标检测”是一个深度学习领域的概念组合，涉及到四个关键部分：Faster R-CNN、FPN（Feature Pyramid Network）、ResNet以及目标检测。让我们逐一深入探讨这些知识点。 1. **目标...
pytorch-使用Pytorch实现的faster-rcnn目标检测算法.zip
03-02
在计算机视觉领域，目标检测是一项关键技术，用于识别和定位图像中...提供的zip文件“pytorch_使用Pytorch实现的faster-rcnn目标检测算法”应该包含了实现该算法所需的代码、数据集和配置文件，可供进一步研究和参考。
RCNN, Fast RCNN, Faster RCNN这一系列目标检测算法
11-10
RCNN系列算法不仅推动了目标检测技术的发展，也为后续的YOLO、SSD等实时目标检测模型奠定了基础。在实际应用中，RCNN家族的算法被广泛应用于自动驾驶、视频监控、图像分析等领域，对于提升计算机视觉系统的性能具有...
R-CNN系列详解
weixin_36670529的博客
02-21 2385
1、从传统方法到R-CNN 基于传统的方法，先要进行区域建议的生成，然后对每个区域进行手工特征的设计和提取，然后送入分类器。在Alexnet出现后，CNN的性能比较好，不但可以学习手工特征还有分类器和回归器。CNN主要用来提取特征，SS提取出的最小外接矩形可能不精准，这样的话就需要Bounding Box回归对区域的位置进行校正。输入图片SS算法算...
RCNN简介
weixin_45680994的博客
10-28 3107
RCNN（Regions with CNN features）是在2014年提出的一种目标检测算法，RCNN是将CNN方法应用到目标检测问题上的一个里程碑，借助CNN良好的特征提取和分类的性能，通过REgionPropo方法实现目标检测。 RCNN的特点与流程总结 一：速度 经典的目标检测算法使用滑动窗法依次判断所有可能的区域。本文则预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行判断。 二：训练集 经典的目标检测算法在区域中提取人工设定的特征（Haar，HOG）。本文则需要训练深
【深度学习】R-CNN 论文解读及个人理解
热门推荐
frank 的专栏
08-24 22万+
背景 本篇论文的题目是 《Rich feature hierarchies for accurate oject detection and semantic segmentation》，翻译过来就是针对高准确度的目标检测与语义分割的多特征层级，通俗地来讲就是一个用来做目标检测和语义分割的神经网络。 本文作者：Ross Girshick，JeffDonahue,TrevorDarrell,Ji...
目标检测RCNN具体算法
09-08
RCNN (Region-based Convolutional Neural Networks) 是一种经典的目标检测算法，它包含以下主要步骤： 1. 候选区域生成：利用选择性搜索（Selective Search）等方法，从原始图像中生成一系列候选区域，这些区域有可能包含感兴趣的目标对象。 2. 特征提取：对于每个候选区域，使用卷积神经网络（CNN）提取固定长度的特征向量。通常使用在大规模图像分类任务上预训练好的CNN模型，如AlexNet、VGG等。 3. 目标分类：将每个候选区域的特征向量输入到一个分类器中，以确定该区域是否属于目标对象。这里可以使用支持向量机（SVM）或者其他分类器。 4. 边界框回归：对于被分类为目标对象的候选区域，使用回归器对其精确位置进行微调，得到更准确的边界框。 RCNN算法的主要思想是先生成候选区域，然后对每个区域进行分类和位置回归。这种方法能够在保持较高准确率的同时，处理不同尺寸、形状、姿态的目标对象。然而，由于每个候选区域都需要独立进行特征提取，RCNN的计算速度相对较慢。 后续的改进算法如Fast R-CNN、Faster R-CNN和Mask R-CNN都是在RCNN基础上进行了优化，提高了检测速度和准确率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值