GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB 论文解读

这篇文章是CVPR2018的一篇论文。

主要贡献点有以下几点：

1、使用cyclegan的思想 可以对没有成对的生成人手数据进行真实化。

2、能够从RGB图像（没有深度信息）生成3D人手模型

下图是作者的主要思想图

真实和生成图像通过GeoConGAN进行训练， 生成一张可以以假乱真的图像。

regnet是将2D的人手坐标映射到一个三维坐标。

然后再将这样一个三维坐标正和城skeleton fitting。

训练数据集：

真实数据集：自己拍摄的人手数据集 

生成数据集：synthenic hand生成数据集 （数据下载地址：http://handtracker.mpi-inf.mpg.de/projects/OccludedHands/SynthHands.htm）

geocongan：

在cyclegan基础上 引入了一个交叉熵loss(关于这一点我在论文中 没有看到具体的实现办法)

regnet相当于一个multi task learning。

学习到一个heatmap 这个就是关节点的2D坐标 还回学习到一个3D坐标

projLayer的思想  

从3D做一个正交投影 得到2D的heatmap

将三维坐标点 转换成人手运动骨架模型， 需要最小化以下的能量方程。

E2D 表示的是投影误差最小 也就是三维坐标点投影到二维平面与heatmap上的坐标点误差最小

E3Dloss是这样的

Zj表示的是第j个关节相对root节点的位置。

第j个节点的坐标可以表示为其父节点的坐标加上真实3D坐标的差的二范数除以regnet的输出差（2维坐标）的2范数 *（输出之差）

所以3D项的用途就是让3D坐标的相对距离在2范数上一致

Elimits这一个能量项的目的是防止关节扭曲过大

Etemp项是步长限制 限制每次优化不能变化太大

关于regnet 用的是stereo dataset进行的评估

作者还在Dexter+object 和 EgoDexter数据集上进行了测试