序言
最近网上看到了一个RobustVideoMatting的项目,感觉比较有意思,就拿来看一下,
时时抠图的DEMO链接:https://peterl1n.github.io/RobustVideoMatting/#/demo
可以先进去体验一下。
论文地址链接:https://arxiv.org/abs/2108.11515
一作作者林山川,二作作者杨林杰,他们发表的这篇文章,在计算机视觉业界是什么水平这个我不清楚,但是对于我这个门外汉来说,我还是觉得蛮厉害的。
项目源码:https://github.com/PeterL1n/RobustVideoMatting
个人看法
就我个人理解,视频流即一张张连续的图片组成,帧频(Frame Rate)越高,画面越流畅。我是一个游戏爱好者,打个比方,原神的帧率为60,即一秒钟60张图片。
而一张彩色图片可以用RGB三原色矩阵描述,那么每张图片都可以使用三个矩阵去描述并提取特征值。
个人认为难点在于:
- 提取特征值训练时怎么区分人物和背景。
- 如何进行高精度采样。
文中提到循环机制的引入使得AI能够在连续的视频流中自我学习,从而了解到哪些信息需要保留,哪些信息可以遗忘掉。循环解码器采用了多尺度ConvGRU来聚合时间信息。而深度引导滤波(DGF)模块,用于高分辨率上采样。
我这门外汉还是别瞎比比了,大佬的文章膜拜一下就好。
参考链接: