2023年1月文献阅读

Energy-based Periodicity Mining with Deep Features for Action Repetition Counting in Unconstrained Videos

基于深度特征的能量周期挖掘在无约束视频动作重复计数中的应用

1. 1、目的

估计一个动作中重复运动发生的次数，这是一个相对较新的、重要的但具有挑战性的测量问题。

2、本文的主要创新点

1. 新的方法：提出了一种无需预处理的基于能量的动作重复计数方法，该方法可以有效的计算无约束视频中任意周期运动的动作重复次数(无需预处理和适用于任意周期的行动)

2. 新的方法架构：首先，采用双流深层特征提取方法，分别生成空间特征和时间特征；其次，利用主成分分析(PCA)方法，根据深部特征生成一维周期信号，对应于时空特征，存在两个一维周期信号。第三，利用傅里叶变换、过滤和逆傅里叶变换，根据最高能量规则挖掘重复动作的周期性。最后利用峰值检测波形完成重复计数。

3、关键要素

1. 提出了一种基于高能的重复作用定位的方法，并使用位置结果重新计算计数；

2. 主成分分析法（PCA）可以根据动作的深层特征获取周期性动作信息；

3. 通过傅里叶变换计算频谱，通过多级阈值滤波消除噪声信息；

4. 平滑时间序列波形，并根据峰值检测完成动作的重复计数任务。

4、主要欠缺

方法虽然简单灵活，无需预处理。但是，当运动中存在干扰或混乱的背景时，特别是当有重复动作和观点不断变化时，它的表现不佳。这些非周期性干扰运动使得无法准确分析目标物体的运动特性。

5、总结

该论文相对来说，提出的方法在重复动作的计算方面相对来说，容易理解。文章中一些参考文献也可以为后续对视频中的动作计数作为知识补充。文章提出，深层特征有助于挖掘动作的自相似周期性，使用deep ConvNets提取不受约束视频的深度特征。