- 5.31开营
- 需要交至少3次作业(共5次)
- 算法库
- MMOCR 文字检测库
- 提取结构化信息
- MMDetection3D
- MMRotate 旋转目标检测
- 图像分割算法库
- 图像分割是识别提取的
- 图像分类+预训练+多模态 MMPretrain
- 图像分类(Image Classification )图像描述(lmage Caption )视觉问答( Visual Question Answering )
- 视觉定位(Visual Grounding )检索(Retrievallmage-To-lmageText-To-lmagelmage-To-Text)
- 姿态
- MMOCR 文字检测库
- 感觉做CV会涉及到各行各业 生物 交通 农业 机械....
6.1课程
人体姿态估计 MMPose包
讲师:卢策吾老师
中文文档:欢迎来到 MMPose 中文文档! — MMPose 1.0.0 文档
(课后要自己看一看中文文档)
2d姿态估计:
自顶向下:先确定人体
基于回归:对关键点的位置进行概率建模
基于热力图的建模
自底向上:先找关键点 再聚类
找关节
多人姿态估计
3d姿态估计:
人体参数表面化,将人体表面划分为24块...
思考:涉及算法的地方不是特别懂,但是一定要多思考搞清思路和用途,再找到对应的包的操作方法和代码,会用再说
6.2课程
子豪(b站有号):MMPose 代码教程
https://www.bilibili.com/video/BV1Pa4y1g7N7
https://www.bilibili.com/video/BV1Lm4y1879K
https://www.bilibili.com/video/BV12a4y1u7sd
先进行环境配置+安装
(学员手册里有个demo:
- 学员手册-环境配置 6.4已经看完并操作完
-
激活虚拟环境conda activate openmmlab
-
进度:目前操作了MMPose 和MMdetection 包安装,没有太大问题。后两个检测三角板的实践的视频还没来得及看,希望明天能赶紧补上做好作业……
思考:没有太多思考因为内容没看完……感觉课程的内容对于没操作过python 的纯小白会有很大难度,我属于半生半熟的勉强能跟上代码操作。后面希望能继续加油。
6.5课程
内容:MMPretrain包
张老师
MMPretrain是一个深度学习预训练算法框架
深度学习模型训练的几个方面:
模型结构,数据,训练优化,运行时,辅助功能
自监督学习的类型
基于代理任务,基于对比学习(simCLR),基于掩码学习(MAE)
多模态算法……
思考:因为今天在赶上次的作业,所以课程没有看完,涉及算法的地方也不太能懂,需要进一步查资料。这节课的笔记只总结了一些关键词后面会补上。。之前是因为种种原因环境配置出问题,所以作业1一直没做好,今天刚能做起来。之后会一步步赶上的。
笔记5
MMPretrain代码课
修改config 配置文件,在个人数据集上训练出结果。【完成作业2】
1 找到config 文件 例如:resnet18_8xb32_in1k.py
修改dataset models schedules....( 对应路径:mmpretrain/configs/_base_/ 文件夹下)
思路:先把数据集分割为训练集和测试集,运行修改后的mmpretrain config文件进行训练(100epoch)和测试,输出结果。(将epoch缩小到10的结果变化?)最后自己找数据出结果。
笔记6
理论课:目标检测与MMDetection
这节课程以目标检测的基本范式为起点,介绍目标检测算法的基础步骤。
bbox:边界框
iou:交并比
receptive field:感受野
Effective RF:有效感受野
nms:非极大值抑制
confidence score:置信度
其中目标检测与图像分类主要有以下几点差别:
1.图片中有多个物体需要识别,2.目标检测中物体的类别和位置信息都需要识别,3.物体的大小不是固定的。
因为对象检测的本质,它可应用于诸多场景,例如:人脸识别,智慧城市,无人驾驶, ocr等等。
笔记7
MMDetection代码课
这节课程通过一系列代码展示,对使用MMDetection加载和预处理数据集进行了演示,并展现了训练和评估目标检测模型的方法。
介绍了MMDetection的安装和配置、设置Python环境、安装依赖包以及配置MMDetection运行环境、介绍MMDetection的模型库,以及了解不同的预训练模型和配置文件。
笔记8
理论课:语音分割与MMSegmentation
本质是对像素分类,给图像中的每个像素分配一个类别,得到特定类别的 mask
应用: 自动驾驶、人像、医疗等
语义分割模型思路
- 全卷积网络
- 空洞卷积与DeepLab模型
- 上下文信息与PSPNet模型
前沿算法:
- Segformer
- K-net
- maskformer
- segment anything
- 等
笔记9
代码课:MMSegmentation代码课
做作业时补充
作业4
流程参考了:14班每日分享——6月15日(作业4攻略&向优秀作业学习)-CSDN社区
下载的文件放在哪个位置参考了:OpenMMLabCamp/homework-4/README.md at main · zeyuanyin/OpenMMLabCamp · GitHub
标download的4个是下载的文件