第一周总结

本文介绍了商汤科技的MMDetection工具箱及其支持的多种目标检测框架,特别聚焦于DetectoRS模型的创新之处,包括递归特征金字塔网络(RFP)和可切换的空洞卷积(SAC),并展示了图片合成算法的具体应用。
摘要由CSDN通过智能技术生成

##Markdown语法简述

  • 一级、二级…标题

#这是一级标题

##这是二级标题

#这是一级标题
##这是二级标题

  • ###有序无序列表
    有序无序列表

- + * 效果一样

  • ###粗体与斜体

**这是粗体**

*这是斜体*

~~这是删除线~~

这是粗体

这是斜体

这是删除线

  • ###引用
    在引用的文字前加>即可,也可以嵌套,多加几个>>:

>这是引用的内容

>>这是引用的内容

  • ###分割线
    三个或三个以上的 - 或 * 都可以
- - -
* * *


  • ###图片
![图片alt](图片地址 ''图片title'')

图片alt就是显示在图片下面的文字,相当于对图片内容的解释。
图片title是图片的标题,当鼠标移到图片上时显示的内容。title可加可不加

示例:

![markdown](https://d33wubrfki0l68.cloudfront.net/aee91187a9c6811a802ddc524c3271302893a149/a7003/images/bandthree2.png)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7AS6Htz5-1615352571198)(https://d33wubrfki0l68.cloudfront.net/aee91187a9c6811a802ddc524c3271302893a149/a7003/images/bandthree2.png)]

  • ###图床
  • 对象存储图床

国外的有amazon s3 和google storage等

国内的有七牛云、又拍云、腾讯云、阿里云、天翼云等

  • 第三方图床

sm.ms、imgchr、聚合图床等

  • 云盘图床

微云等

  • 社交网站图床

新浪微博、qq空间等

  • 云笔记图床

印象笔记、有道云笔记等

  • 代码托管网站图床

github、码云等

  • 自建图床

github开源图片服务Cheverto

  • 区块链存储图床

IPFS等

  • ###超链接
    语法:
[超链接名](超链接地址 "超链接title")
title可加可不加

示例:

[简书](http://jianshu.com)
[百度](http://baidu.com)

简书

百度

  • ###表格
    语法:
表头|表头|表头
---|:--:|---:
内容|内容|内容
内容|内容|内容

第二行分割表头和内容。
- 有一个就行,为了对齐,多加了几个
文字默认居左
-两边加:表示文字居中
-右边加:表示文字居右
注:原生的语法两边都要用 | 包起来。此处省略

示例:

姓名|技能|排行
--|:--:|--:
刘备|哭|大哥
关羽|打|二哥
张飞|骂|三弟
姓名技能排行
刘备大哥
关羽二哥
张飞三弟
  • ###代码
    语法:
    单行代码:代码之间分别用一个反引号包起来
`代码内容`

代码块:代码之间分别用三个反引号包起来,且两边的反引号单独占一行

(```)
  代码...
  代码...
  代码...
(```)
  • ###流程图
​```mermaid
flowchat
st=>start: 开始
op=>operation: My Operation
cond=>condition: Yes or No?
e=>end
st->op->cond
cond(yes)->e
cond(no)->op
&```
Created with Raphaël 2.2.0 开始 My Operation Yes or No? End yes

##商汤科技-MMDetection简述

MMDetection是商汤科技(OpenMMLab - 2018 COCO 目标检测挑战赛冠军)和香港中文大学开源的一个基于Pytorch实现的深度学习目标检测工具箱,支持Faster-RCNN,Mask-RCNN,Fast-RCNN,Cascade-RCNN等主流的目标检测框架以及其他一系列目标检测框架。

官方声称,相比于Facebook开源的Detectron框架,mmdetection有三点优势:performance稍高、训练速度稍快、所需显存稍小。

目前OpenMMLab支持的项目有:

  • MMCV: OpenMMLab 计算机视觉基础库
  • MMClassification: OpenMMLab 图像分类工具箱
  • MMDetection: OpenMMLab 目标检测工具箱
  • MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
  • MMSegmentation: OpenMMLab 语义分割工具箱
  • MMAction2: OpenMMLab 新一代视频理解工具箱
  • MMTracking: OpenMMLab 一体化视频目标感知平台
  • MMPose: OpenMMLab 姿态估计工具箱
  • MMEditing: OpenMMLab 图像视频编辑工具箱

目前mmdetection支持的骨干网络有:

  • ResNet (CVPR’2016)
  • ResNeXt (CVPR’2017)
  • VGG (ICLR’2015)
  • HRNet (CVPR’2019)
  • RegNet (CVPR’2020)
  • Res2Net (TPAMI’2020)
  • ResNeSt (ArXiv’2020)

目前mmdetection支持的算法有:

  • RPN (NeurIPS’2015)
  • Fast R-CNN (ICCV’2015)
  • Faster R-CNN (NeurIPS’2015)
  • Mask R-CNN (ICCV’2017)
  • Cascade R-CNN (CVPR’2018)
  • Cascade Mask R-CNN (CVPR’2018)
  • SSD (ECCV’2016)
  • RetinaNet (ICCV’2017)
  • GHM (AAAI’2019)
  • Mask Scoring R-CNN (CVPR’2019)
  • Double-Head R-CNN (CVPR’2020)
  • Hybrid Task Cascade (CVPR’2019)
  • Libra R-CNN (CVPR’2019)
  • Guided Anchoring (CVPR’2019)
  • FCOS (ICCV’2019)
  • RepPoints (ICCV’2019)
  • Foveabox (TIP’2020)
  • FreeAnchor (NeurIPS’2019)
  • NAS-FPN (CVPR’2019)
  • ATSS (CVPR’2020)
  • FSAF (CVPR’2019)
  • PAFPN (CVPR’2018)
  • Dynamic R-CNN (ECCV’2020)
  • PointRend (CVPR’2020)
  • CARAFE (ICCV’2019)
  • DCNv2 (CVPR’2019)
  • Group Normalization (ECCV’2018)
  • Weight Standardization (ArXiv’2019)
  • OHEM (CVPR’2016)
  • Soft-NMS (ICCV’2017)
  • Generalized Attention (ICCV’2019)
  • GCNet (ICCVW’2019)
  • Mixed Precision (FP16) Training (ArXiv’2017)
  • InstaBoost (ICCV’2019)
  • GRoIE (ICPR’2020)
  • DetectoRS (ArXix’2020)
  • Generalized Focal Loss (NeurIPS’2020)
  • CornerNet (ECCV’2018)
  • Side-Aware Boundary Localization (ECCV’2020)
  • YOLOv3 (ArXiv’2018)
  • PAA (ECCV’2020)
  • YOLACT (ICCV’2019)
  • CentripetalNet (CVPR’2020)
  • VFNet (ArXix’2020)
  • DETR (ECCV’2020)
  • CascadeRPN (NeurIPS’2019)
  • SCNet (AAAI’2021)

mmdetection训练步骤很简洁方便,需要使用某个网络,只需在train.py后添加该网络框架的config配置文件即可,mmdetection会自动识别网络,并加载对应的网络模型和训练数据,比如,要训练detectoRS的级联网络,只需要–>

./tools/dist_train.sh config/detectors/detectors_cascade_rcnn_r50_1x_coco.py

##DetectoRS简述

DetectoRS的思想来自成功的目标检测算法如Faster RCNN 、Cascade R-CNN所体现出的哲学:looking and thinking twice (无论是两阶段还是级联检测器,都体现出信息的反复利用和提精)作者是把这一思想应用于主干网的改进上,主要创新如图:

  1. 宏观层次,提出递归特征金字塔网络(RFP,Recursive Feature Pyramid),集成FPN的反馈连接到主干网,使得主干网再训练得到的特征更好的适应检测或分割任务。

FPN公式

RFP公式

展开后的RFP公式

RFP特征融合结构

  1. 微观层次,提出可切换的空洞卷积(SAC,Switchable Atrous Convolution)替换主干网上的标准卷积,使得模型可自适应选择感受野。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5b34LENf-1615352571199)(https://pics3.baidu.com/feed/b17eca8065380cd7fd48b2b9b2ee683258828144.jpeg?token=71e2b01fb155f3cea59b98898630f913)]

Conv->SVC

下图从左至右分别为HTC,HTC+RFP,HTC+SAC,ground truth的结果,从这个比较中,可以注意到RFP,类似于人类的视觉感知,选择性地增强或抑制神经元的激活,能够更容易地找到被遮挡的物体, 由于SAC能够根据需要增加感受野,因此它更有能力检测图像中的大型物体:

##图片合成算法简述

先上最终图片效果:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CpI2fnKe-1615352571200)(/home/dream/sda2/data_ddpest/savepath/coco/val2017/1615288931813_8.png)]

流程图如下:

Created with Raphaël 2.2.0 设置运行次数t,开始循环i 背景图(n个) 前景图(m个) 抽取 背景图(1个)前景图([2,8,18]个) 随机按不同比例分割背景图[2,8,18块] 旋转(k个) 轮廓逼近,裁剪前景 (k个) 融合匹配(k个) 合图 生成JSON文件 保存本地图片 i>t? 结束 yes no
 import ray
 ray.init()
 blocks = ray.get([fusion.remote(susoku_back_list[i], forefilelist[i], scale, begin_point_list[i])
                      for i in range(sudoku[scale][1])])
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值