Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
CVPR 2017
Code: https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation
效果演示视频: https://youtu.be/pW6nZXeWlGM 如果可以看youtu 的话
多人姿态实时估计,这里主要亮点还是 多人实时+效果
感兴趣的可以看看相关文献: Convolutional Pose Machines CVPR2016
http://blog.csdn.net/shenxiaolu1984/article/details/51094959
本文算法主要流程如下:
输入一幅图像,经过卷积网络提取特征,得到一组特征图,然后分成两个岔路,分别使用 CNN网络提取Part Confidence Maps 和 Part Affinity Fields ,得到这两个信息后,我们使用图论中的 Bipartite Matching 将同一个人的关节点连接起来得到最终的结果。
Part Affinity Fields 示意图:
两个分叉的CNN网络如下图所示:
a set of feature maps F ,confidence maps S,Part Affinity Fields L。
上面是一个迭代优化过程
为什么使用 Part Affinity Fields ?
Graph matching
结果对比:
COCO 2016 keypoint challenge:
有问题的图片:
时间分析:
GTX-1080 GPU
The original frame size is 1080×1920, which we resize to 368×654 during testing to fit in GPU memory
Our method has achieved the speed of 8.8 fps for a video with 19 people.
for 9 people, the parsing takes 0.58 ms while CNN takes 99.6 ms