【论文阅读】A New Representation of Skeleton Sequences for 3D Action Recognition

【论文阅读】A New Representation of Skeleton Sequences for 3D Action Recognition

这篇论文感觉写的太复杂，并不怎么好，所以只挑重点介绍一下就好。

网络结构

整个网络结构如上图所示，也是基于时空编码图的方法，时空编码图的构建方法：

1.首先确定人体骨骼的4个参考关节点（两肩和两腿上），选这4个关节点的原因是这4个关节点在大多数的运动中都比较稳定。（最后的实验也测试了6个关节点，但是准确率下降了，我感觉还是给出各关节点运动范围的统计更靠谱一些）
2.然后计算所有关节点与参考关节点的相对位置（dx，dy，dz），从而可以构建4个 （m-1）xt的时空编码图，每一个时空编码图包含有xyzchannel。（这里其实也是有疑问的，为什么不将4个参考关节点的向量直接concat一起，这样只构建一个时空编码图就可以了，不知道作者为什么这样设置）
3.然后将其变换到圆柱坐标系中。（也不知道为什么要变换到圆柱坐标系，感觉和平面坐标系没啥区别，最然最后的实验中说使用圆柱坐标系的准确率更高）
4.然后将channel分离，每一个channel都是一个灰度帧的clip，从而可以得到3个clip，每一个clip的帧数4帧（4个参考关节点）。（虽然作者做实验发现分开的效果更好，但是我感觉不合理，不分开，使用3channel的图像也是可以的，可能只是调参的问题）

得到时空编码图以后，使用CNN提取出feature map（14x14x512），然后在feature map中沿着时间维度平均池化（结果为14x512）。
最后使用一种多任务（4个输出）学习的方法训练卷积神经网络，感觉没啥意思。