【论文阅读】Hierarchical Recurrent Neural Network for Skeleton Based Action Recognition

【论文阅读】Hierarchical Recurrent Neural Network for Skeleton Based Action Recognition

这篇论文使用LSTM对人体骨骼的时空特征直接建模，提出了一种级联地组合人体骨骼各个部分运动的方法，虽然我感觉最后的实验表明级联各个部分并没有太大的提升，但是也可能是数据集的原因，总体感觉想法还是好的。

网络结构

整个网络结构如上图所示，也是非常地容易理解的，人体骨骼被分成了5个部分，分别为躯干和四肢，网络级联地输入和组合人体骨骼各个部分的运动吗，从而对整个人体骨骼的运动建模。需要注意的是，文章在实现骨骼部分组合的时候，使用的是concat连接的方法。其他的也没有什么好说的，实现的时候自己写cell就好。

实验

文章设置了对照实验挺有意思，主要的实验如下：

1. 级联LSTM，使用双向的（HBRNN）
2. 级联LSTM，使用单向的（HURNN）
3. 非级联LSTM，普通的LSTM，使用双向的（DBRNN）
4. 非级联LSTM，普通的LSTM，使用单向的（DURNN）

上边的三个表分别为在三个数据集上的结果，从结果的表中可以看到，其实级联这个改进并不是很大，但是是否是数据集的原因就不知道了，毕竟那时候的数据集都太小了。