行人姿态估计--Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zhangjunhit/article/details/70308555

Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
CVPR 2017
Code: https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation
效果演示视频: https://youtu.be/pW6nZXeWlGM 如果可以看youtu 的话

多人姿态实时估计,这里主要亮点还是 多人实时+效果

感兴趣的可以看看相关文献: Convolutional Pose Machines   CVPR2016
http://blog.csdn.net/shenxiaolu1984/article/details/51094959

本文算法主要流程如下:
这里写图片描述

输入一幅图像,经过卷积网络提取特征,得到一组特征图,然后分成两个岔路,分别使用 CNN网络提取Part Confidence Maps 和 Part Affinity Fields ,得到这两个信息后,我们使用图论中的 Bipartite Matching 将同一个人的关节点连接起来得到最终的结果。

Part Affinity Fields 示意图:
这里写图片描述

两个分叉的CNN网络如下图所示:
这里写图片描述
a set of feature maps F ,confidence maps S,Part Affinity Fields L。
上面是一个迭代优化过程

这里写图片描述

为什么使用 Part Affinity Fields ?
这里写图片描述

Graph matching
这里写图片描述

结果对比:
这里写图片描述

COCO 2016 keypoint challenge:
这里写图片描述

有问题的图片:
这里写图片描述

时间分析:
GTX-1080 GPU
The original frame size is 1080×1920, which we resize to 368×654 during testing to fit in GPU memory

Our method has achieved the speed of 8.8 fps for a video with 19 people.

for 9 people, the parsing takes 0.58 ms while CNN takes 99.6 ms

展开阅读全文

没有更多推荐了,返回首页