![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
08 3D人体检测重建
文章平均质量分 89
为什么先生2012
图像大法好
展开
-
Recovering Accurate 3D Human Pose in The Wild Using IMUs and a Moving Camera. ECCV2018 阅读理解
本文提出一个构建3D数据集的方法,并开源了一个室外多人的3D数据集,即3DPW。 在这项工作中,我们提出了一种方法,将单个手持摄像机和一套附在肢体上的惯性测量单元(imu)结合起来,在野外估计准确的3D姿态,这带来了许多新的挑战:移动的摄像机,航向漂移,混乱的背景,遮挡和视频中可见的许多人。整个数据构建流程可以简述为3步:第一步:基于第一帧,通过迭代最小化IMU输出的方向值和基于SMPL得到的方向值以及一些pose的先验约束,可以得到一个不错的SMPL pose作为初始...原创 2021-11-28 09:21:06 · 2702 阅读 · 0 评论 -
Full-Body Awareness from Partial Observations 阅读理解2020
这篇论文提到当图像中的人存在严重裁剪的时候,依然可以通过局部观察来获取整个人全局的姿态,在现实生活中,这种情况往往需要人通过经验或者上下文信息去判断。那么如何让CNN仅仅从一个图像中去学习到这种能力呢?答案就是数据管够,且确保裁剪程度,确定在一定裁剪程度下,CNN依然能够有效学习。另外作者谈到单独通过在训练的时候进行“裁剪”数据增强,在这种针对消费者视频(存在严重的裁剪)的情况下是不够的,而本文认为将裁剪和对自信视频帧进行自我训练可以提供一个不错的结果。对于严重裁剪的图像,输出结果合...原创 2021-11-20 12:47:00 · 2015 阅读 · 0 评论 -
SMPL:数据增强之处理pose和3d点
SMPL 是一个低维度的参数化人体模型,SMPL系数有pose和shape,在训练基于SMPL的3Dmesh重建任务时候,一般需要进行数据增强 例如旋转,镜像等,那当GT 中有pose和3d点的时候,怎么处理?一 :关于3d点的数据增强: 这里设置3d点坐标表示为(x,y,z),如图红色箭头表示x方向。 注意在进行3d点监督的时候,使用的是相对于根节点的相对3d值。 (1) 旋转,当图像发生旋转,3d点只需要全部...原创 2021-11-14 21:09:57 · 5586 阅读 · 5 评论 -
Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation 2020阅读理
本文通过EFT方法生成伪3D数据集,只使用该数据集,从头开始训练3D姿势回归器网络,该网络在诸如3DPW等野外基准测试上的表现超过当前的最先进水平例如HMR。 EFT方法可以看作SPIN的改良,即在测试阶段,通过2d重投影loss微调HMR的参数,从而间接调整SMPL系数,使得当前测试样本在尽可能保留HMR的输出效果的同时,降低2d重投影误差。显然SPIN则是通过SMPLify接在HMR后面,通过2d重投影loss和pose相关的先验直接去拟合SMPL系数,达到降低...原创 2021-11-13 21:45:00 · 3495 阅读 · 1 评论 -
PARE: Part Attention Regressor for 3D Human Body Estimation ECCV2012 阅读理解
ICCV2021德国马普所出品,侧重遮挡分析,本文介绍了一种用于遮挡敏感性分析的可视化技术。1强调对于采用采用直接回归的方法时,如何有效解决遮挡问题。1 读后感:1 HRNet-W32比Renet50强2数据集:hm36 + eft + mpi足以3对于多人数据集coco,取根节点最近的即可。有利于解决遮挡问题4采用分类网络进行初始化,收敛慢。先完成2d估计任务,然后进行3d。好像romp也是这么干的。5mask标签怎么获得问题6当某一个...原创 2021-11-08 10:27:43 · 1343 阅读 · 1 评论 -
MeTRAbs: Metric-Scale Truncation-Robust Heatmaps for Absolute 3D Human Pose Estimation 2020
3D Poses in the Wild (3DPW) Challenge Winning ApproachECCV 20201ECCV20203dpw3dpose检测赛道第一名2能够获取实际大小的尺度-米3对截图图像具有一定的鲁棒性4能够获取目标的绝对距离位置问题背景: 2.5D 解决的是人的相对根结点的相对深度,但是无法提供实际米为单位的真实深度,只是一个局部相对深度。因此2.5D表示并没有解决规模(人的大小)和距离之间具有挑战性的不确定性。用来做驱动...原创 2021-11-07 21:48:38 · 469 阅读 · 1 评论 -
3DMM之EOS 原理解析
一:简介eos: 一个轻量级的头型3D Morphable面部模型拟合库GitHub - patrikhuber/eos: A lightweight 3D Morphable Face Model fitting library in modern C++141 目前支持以下三种3DMMSurrey Face Model (SFM),4D Face Model (4DFM)Basel Face Model (BFM) 20092 使用到的计算相关库 Eigen,glm3 其原创 2021-11-07 21:11:43 · 1949 阅读 · 1 评论 -
FrankMocap:A Monocular 3D Whole-Body Pose Estimation System via Regression and Integration 2021阅读理解
ICCV Workshop 2021.Facebook AI researchBtw, why the name FrankMocap? Our pipeline to integrate body and hand modules reminds us of Frankenstein's monster!读后感:因此可以认为这个文章主要解决手部预测的精度。当你的需求要求脸部,身体,手部都准确,可以参考一下这个网络,但是显然相比端到端,这个有点费网络。 这篇论文更多可以看作一篇侧重方.原创 2021-11-06 22:03:40 · 1005 阅读 · 0 评论 -
SMPL 人体模型简要
smpl是指2015 马普的一篇文章“SMPL: a skinned multi-person linear model”中构建的人体参数化三维模型,人体可以理解为是一个基础模型和在该模型基础上进行形变的总和,在形变基础上进行PCA,得到刻画形状的低维参数——形状参数(shape);同时,使用运动树表示人体的姿势,即运动树每个关节点和父节点的旋转关系,该关系可以表示为三维向量,最终每个关节点的局部旋转向量构成了smpl模型的姿势参数(pose)。考虑到与目前的市面上的渲染器,SMPL模型使用得较多,当然..原创 2021-06-27 11:12:09 · 4919 阅读 · 0 评论