关注点
关键点热图表示中的问题(极少有人关注):
(1)坐标编码中的手动偏移带来的量化误差(取峰值到次峰值的1/4偏移处的位置)
(2)小分辨率热图的模型性能下降较多
公式推导细节
关于公式9推导的讨论
解决方法
(1)坐标解码过程:
a. 热图分布调制:将预测热图调制为高斯分布状态,高斯核(卷积)热图
b. 亚像素级的关键点坐标定位:设预测的热图分布与真实的热图遵循相同的2D高斯分布,与手动设计偏移量预测的标准方法不同,基于泰勒展开级数进行高斯参数求解
c. 分辨率复原
(2)坐标编码过程:
通常,内核生成过程会对降低分辨率后的坐标进行量化,此处不对降低分辨率后的坐标量化,直接用其进行内核生成
结论
本文首次系统地研究了在无约束图像中人体姿态估计的坐标表示(包括编码和解码)问题。提出了一种新的基于分布感知的关键点坐标表示(DARK),用于更有区别的模型训练和推理。该方法可以作为一个插件组件,直接融合进任何模型中,无需任何算法调整。