【论文阅读】Action Recognition Based on Joint Trajectory Maps Using Convolutional Neural Networks

【论文阅读】Action Recognition Based on Joint Trajectory Maps Using Convolutional Neural Networks

这篇文章也是属于正交编码图的方法之一，只不过该论文投影的是关节点轨迹，其整个论文形式和累积关节点的论文差不多一致的。

网络结构

整个网络结构如上图所示，骨骼序列首先生成3张正交编码图，该正交编码图是在3D空间累积关节点轨迹，然后将这些关节点轨迹投影到3个正交平面中。3张正交编码图分别输入到卷积神经网络中，得到的3个分类结果融合就可以得到最终的结果。

关节点轨迹正交编码图的构建

1. 首先就是在3D空间中累积关节点的运动轨迹，然后将其映射到3个正交平面中，将骨骼序列的空间信息编码到轨迹正交编码图中，如下图所示为front plane的投影。
   
2. 然后将运动的时间信息编码到正交编码途中，本文使用的方法和之前的一样，正交编码图为HSV模型，所以使用H（色彩）来编码运动时间信息，得到的结果如下图所示。
   
3. 然后为了加强空间信息的分辨度，文章和之前一样，将人体骨骼分成3个部分：左半边的身体，右半边的身体和脊柱，不同的部分使用不同的colormap来编码。
   
4. 最后使用饱和度和亮度来编码运动轨迹的幅值，也就是骨骼关节点的运动速度，运动速度越大，正交编码图的饱和度和亮度就越大。
   

实验结果

实验结果如上表所示，可以看到所有的编码正交编码图时候的措施都是有益的。