arxiV2020-Towards High Performance Human Keypoint Detection论文阅读

arxiV2020
论文地址
工程地址——没有代码，仅有一个视频

针对问题：
（1）不可见关键点检测困难，如何利用多源环境信息有效建模来预测困难关键点？
（2）外部数据标注信息不一致，如何有效利用综合利用起来？
（3）关键点标注图像是高分辨率的，热图是低分辨率的，如何解决缩放不一致问题，提高定位准确率？
解决方法：
（1）提出一种编码-解码网络
用于融合空间和信道信息，其中编码器采用Resnet，HRNet等，解码器采用提出的CCM，由3个串联的CM模块组成，每个CM模块由3个并行模块组成，分别是:一个残差分支（upsamplingx2-1x1 conv)，一个信道信息提取分支（SE:1x1 conv(downsample)-1x1 conv-sigmoid(upsample)），一个合成空洞卷积分支（HDC:四个不同dilated rate的并行空洞卷积-Deconv/1x1 conv）
Loss函数：MSE+辅助loss进行中间监督


（2）数据增强
Hard-Negative Person Detection Mining：将检测器检测到的分数高、但与基准数据不重合的数据加入到训练集，将它们的关键点热图设置为0，用于解决迁移训练和测试中分布不匹配问题
Joint-Training on Unlabeled Samples by Knowledge Distilling：利用知识蒸馏生成未标记数据的伪标签，加入训练集
Joint-Training on External Data with Heterogeneous Labels：利用具有异构标签的外部数据，如AIC和MSCOCO，保留12个共有的标记点，丢掉其他点。
（3）后处理方法-亚像素调整策略
抛物线近似：利用抛物线方程求解
Soft-NMS：利用OKS-IOU求解
高斯滤波：在输出热度图上进行高斯滤波来使其平滑并减少预测方差
翻转热图的平移：一般是平移1个像素，本文先沿着水平轴以某个缩放比例resize，再向右移动1个像素，再resize到原图尺寸
实验
（1）实验设置：数据介绍，评价指标，实现细节
（2）Ablation study:w/o CM各部分对比，CCM与OCHuman方法对比（为了突出在遮挡数据上的作用），各种训练策略对比，各种亚像素调整策略对比
（3）和最新方法对比：CCM分别用在小模型（ShuffleNet-v2，mobilenet-v2），中模型（Hourglass，Resnet-50，ResNext-50，HRNet-w32），大模型（Resnet-152，HRNet-w48），其他经典方法
（4）可视化及讨论
（5）关键点标注信息研究