DD-Net: Make Skeleton-based Action Recognition Model Smaller, Faster and Better

GitHub:https://github.com/fandulu/DD-Net

arxiv:https://arxiv.org/pdf/1907.09658.pdf

结论:一种基于关键点的动作识别方法,输入为时序上关键点位置,快到没朋友,2000FPS无压力

优点:

  • 很好复现,方法简单粗暴,一看就肯定有效果
  • 快到没朋友

缺点:

  • 需要基于相对完善的关键点定位
  • 想实际部署的话,数据集估计很难搞

这篇需要关注三个点

1.输入JCD

2.输入Cartesian Coordinates

3.时序上一维的CNN卷积

 

JCD

  • 不妨假设总共定位了N个特征点,计算两两之间的距离,总计(N²+1)/2维
  • 不妨假设用到了连续的z帧
  • 则JCD为 [batch,  z, 1, (N²+1)/2]维矩阵

 Cartesian Coordinates

  • 按快慢(步长为1、2)计算关键点的变化距离
  • 移动较慢的数据维度为 [batch, z-1, 1, N ],较快的为  [batch, z-2, 1, N]
  • 统一resize成 [batch, z, 1, N ],否则没法concat

时序上的卷积

  • 在时序的维度上做1D的卷积,即可关联前后帧的信息,好处就不多说了
  • 上述输入经过 1*1卷积 --> 3*1卷积 --> 1*1卷积 +pooling 映射到特征空间
  • 三者concat之后再经过时序上的卷积,最后GAP+FC输出

结果自然是好的

展开阅读全文
©️2019 CSDN 皮肤主题: 程序猿惹谁了 设计师: 上身试试
应支付0元
点击重新获取
扫码支付

支付成功即可阅读