AI实训营笔记【6.11更新至笔记7】

• 5.31开营
  • 需要交至少3次作业（共5次）
  • 算法库
    • MMOCR 文字检测库
      • 提取结构化信息
    • MMDetection3D
    • MMRotate 旋转目标检测
    • 图像分割算法库
      • 图像分割是识别提取的
    • 图像分类+预训练+多模态 MMPretrain
      • 图像分类(Image Classification )图像描述(lmage Caption )视觉问答( Visual Question Answering )
      • 视觉定位(Visual Grounding )检索(Retrievallmage-To-lmageText-To-lmagelmage-To-Text)
    • 姿态
• 感觉做CV会涉及到各行各业 生物 交通 农业 机械....

6.1课程

人体姿态估计 MMPose包

讲师：卢策吾老师

中文文档：欢迎来到 MMPose 中文文档! — MMPose 1.0.0 文档

（课后要自己看一看中文文档）

2d姿态估计：

自顶向下：先确定人体

        基于回归：对关键点的位置进行概率建模

        基于热力图的建模

自底向上：先找关键点 再聚类

        找关节

多人姿态估计

3d姿态估计：

        人体参数表面化，将人体表面划分为24块...

思考：涉及算法的地方不是特别懂，但是一定要多思考搞清思路和用途，再找到对应的包的操作方法和代码，会用再说

6.2课程

子豪（b站有号）：MMPose 代码教程

https://www.bilibili.com/video/BV1Pa4y1g7N7

​​​​​​https://www.bilibili.com/video/BV1Lm4y1879K

https://www.bilibili.com/video/BV12a4y1u7sd

先进行环境配置+安装

（学员手册里有个demo：

• 学员手册-环境配置 6.4已经看完并操作完

  • conda activate openmmlab

    激活虚拟环境

进度：目前操作了MMPose 和MMdetection 包安装，没有太大问题。后两个检测三角板的实践的视频还没来得及看，希望明天能赶紧补上做好作业……

思考：没有太多思考因为内容没看完……感觉课程的内容对于没操作过python 的纯小白会有很大难度，我属于半生半熟的勉强能跟上代码操作。后面希望能继续加油。

6.5课程

内容：MMPretrain包

张老师

MMPretrain是一个深度学习预训练算法框架

        深度学习模型训练的几个方面：

                模型结构，数据，训练优化，运行时，辅助功能

自监督学习的类型

        基于代理任务，基于对比学习（simCLR），基于掩码学习(MAE)

多模态算法……

思考：因为今天在赶上次的作业，所以课程没有看完，涉及算法的地方也不太能懂，需要进一步查资料。这节课的笔记只总结了一些关键词后面会补上。。之前是因为种种原因环境配置出问题，所以作业1一直没做好，今天刚能做起来。之后会一步步赶上的。

笔记5 

MMPretrain代码课

修改config 配置文件，在个人数据集上训练出结果。【完成作业2】

1 找到config 文件 例如：resnet18_8xb32_in1k.py

修改dataset models schedules....( 对应路径：mmpretrain/configs/_base_/  文件夹下）

思路：先把数据集分割为训练集和测试集，运行修改后的mmpretrain config文件进行训练（100epoch）和测试，输出结果。（将epoch缩小到10的结果变化？）最后自己找数据出结果。

笔记6

理论课：目标检测与MMDetection

这节课程以目标检测的基本范式为起点，介绍目标检测算法的基础步骤。

        bbox：边界框

        iou：交并比

        receptive field：感受野

        Effective RF：有效感受野

        nms：非极大值抑制

        confidence score：置信度

其中目标检测与图像分类主要有以下几点差别：

1.图片中有多个物体需要识别，2.目标检测中物体的类别和位置信息都需要识别，3.物体的大小不是固定的。

因为对象检测的本质，它可应用于诸多场景，例如：人脸识别，智慧城市，无人驾驶， ocr等等。

笔记7

MMDetection代码课

这节课程通过一系列代码展示，对使用MMDetection加载和预处理数据集进行了演示，并展现了训练和评估目标检测模型的方法。

介绍了MMDetection的安装和配置、设置Python环境、安装依赖包以及配置MMDetection运行环境、介绍MMDetection的模型库，以及了解不同的预训练模型和配置文件。

笔记8

理论课：语音分割与MMSegmentation

本质是对像素分类，给图像中的每个像素分配一个类别，得到特定类别的 mask

应用: 自动驾驶、人像、医疗等

语义分割模型思路

• 全卷积网络
• 空洞卷积与DeepLab模型
• 上下文信息与PSPNet模型

前沿算法：

• Segformer
• K-net
• maskformer
• segment anything
• 等

笔记9

代码课：MMSegmentation代码课

做作业时补充

作业4

流程参考了：14班每日分享——6月15日（作业4攻略&向优秀作业学习）-CSDN社区

下载的文件放在哪个位置参考了：OpenMMLabCamp/homework-4/README.md at main · zeyuanyin/OpenMMLabCamp · GitHub

 标download的4个是下载的文件