Temporal Attention + MHU
论文:【2018IJCAI】Long-Term Human Motion Prediction by Modeling Motion Context and
Enhancing Motion Dynamic
创新点1:MHU
创新点2:gram matrix loss
网络总体分为两部分:skeleton embedding layer 将骨骼轴角数据映射到嵌入空间,recurrent prediction layer产生预测姿势。
预测部分又分为两块,时间注意力提取模块和MHU
**时间注意力:**从全体骨骼特征以及隐藏状态中提取权重
**MHU更新:**理解vt类似于LSTM中的隐藏状态ht,删掉了细胞状态ct
借鉴:时间注意力提取模块,可广泛用于姿势解码器中。
gram matrix loss:
loss解决的问题:传统的均方误差MSE将预测姿势限制于平均姿势之中, 并且将帧独立看待,会导致预测运动的不连续。提出的方法同时考虑了骨骼间联系和相邻帧联系。其中,concat操作反应了相邻帧联系;把向量乘起来变成矩阵,可以反应不同身体部位的关联。