看大佬的时时AI抠图项目

序言

最近网上看到了一个RobustVideoMatting的项目，感觉比较有意思，就拿来看一下，

时时抠图的DEMO链接：https://peterl1n.github.io/RobustVideoMatting/#/demo

可以先进去体验一下。

论文地址链接：https://arxiv.org/abs/2108.11515

一作作者林山川，二作作者杨林杰，他们发表的这篇文章，在计算机视觉业界是什么水平这个我不清楚，但是对于我这个门外汉来说，我还是觉得蛮厉害的。

项目源码：https://github.com/PeterL1n/RobustVideoMatting

个人看法

就我个人理解，视频流即一张张连续的图片组成，帧频（Frame Rate）越高，画面越流畅。我是一个游戏爱好者，打个比方，原神的帧率为60，即一秒钟60张图片。

而一张彩色图片可以用RGB三原色矩阵描述，那么每张图片都可以使用三个矩阵去描述并提取特征值。

个人认为难点在于：

1. 提取特征值训练时怎么区分人物和背景。
2. 如何进行高精度采样。

文中提到循环机制的引入使得AI能够在连续的视频流中自我学习，从而了解到哪些信息需要保留，哪些信息可以遗忘掉。循环解码器采用了多尺度ConvGRU来聚合时间信息。而深度引导滤波（DGF）模块，用于高分辨率上采样。

我这门外汉还是别瞎比比了，大佬的文章膜拜一下就好。

 

参考链接：

完美抠图王冰冰！字节实习生开发的AI，实现4K60帧视频实时抠图，连头发丝都根根分明 - 知乎