一.点云性质
1.无序性(结果与输入顺序无关,结构相同)
2.稀疏性,噪声…
3.几何旋转鲁棒性(平移、旋转、尺度等不影响结果)
二、任务
分类、3D物体重建、3d关键点、配准、分割、目标检测、法向量估计
三.数据集
四、3d场景深度学习方法回顾
1.转换为栅格数据(volumetric data)+3D cnn
2.多视角图像(multi_view images)+2D CNN
3.mesh data +gnn(图神经网络)
4.深度图像+ cnn
5.点云 +cnn
分类:基于3D点、基于二维投影点
五、具体网络介绍:Pointnet
1.概述:
pointnet代码:https://mp.weixin.qq.com/s/2JxsMR3NNT1WCfkkY6FHCg
input(n*3) ——T-net(相当于矩阵,点云数据对齐) ——MLP(多层感知机,升维至64) ——T-net ——MLP(升维至1024) ——max pooling(每一维最大值,得到1024向量) ——MLP(降维至K)
2、关键1:max pooling(接在在mlp后:解决点云无序性,无论输入什么,最终结果不变)
理论证明:在hausdorff空间连续下,max方法后接MLP可无限逼近目标函数F
3.关键2:T-net(借鉴STN网络,保证点云几何不变性,不用担心点云姿态,无平移不变形?)
4.总结
六、具体网络介绍:Pointnet++
1.概述
2.点集抽象三部分:采样+分组+pointnet(以二维图形式表示)
引入局部坐标保证平移不变形!
3.问题:密度的影响
在点数少时,pointnet++与pointnet精度对比
4.问题解决:MSG(多尺度)及MRG(多分辨率),多分辨率可大大减少耗时
5.pointnet的延伸:2D目标检测,根据结果建立三维视锥,最后进行3D检测
七、具体网络介绍:Pointcnn:X(希腊字母,读xi?)变换
1.概述:x变换,类似于卷积操作
2.平移不变形解决
3.性能比较