【论文阅读】Skeleton Based Action Recognition with Convolutional Neural Network

【论文阅读】Skeleton Based Action Recognition with Convolutional Neural Network

这是基于骨骼的行为识别方法中，使用时空编码图的开山之作，后续还会介绍许多使用时空编码图的方法。

正文

整个方法的结构很简单，如上图所示，首先将骨骼序列编码为一张时空编码图，然后将时空编码图输入到卷积神经网络中，得到行为类别的识别结果。

时空编码图的构建

在时空编码图构建的过程中，首先将人体骨架分成5个部分，分别为：四肢和躯干，然后每一部分的关节点组成一个向量，所有部分的向量再组合成一个大的向量。最后沿着时间顺序将每一帧的向量堆叠在一起，组成一张时空编码图，其中骨骼的$x$、$y$、$z$坐标分别为时空编码图中的RGB通道。

在训练的时候，将骨骼关节点的坐标归一化到[0,255]，就是使用的最基本的归一化的方法，然后将其resize到 $60\times 60$。

一些行为的时空编码图的效果如下图所示：

其他的就没有啥好介绍的了。