ACMMM2021 视频质量增强、反压缩任务：“使用递归融合和可变时空卷积去除视频压缩残影” 工作简述及导读

工作名：Recursive Fusion and Deformable Spatiotemporal Attention for Video Compression

文章标题：Recursive Fusion and Deformable Spatiotemporal Attention for Video Compression Artifact Reduction

目前已被收录至ACMMM2021

全文：

Recursive Fusion and Deformable Spatiotemporal Attention for Video Compression Artifact Reduction​

官方实现代码：

https://github.com/zhaominyiz/RFDA-PyTorch

摘要：

目前许多的方法已经被提出将低质量视频修复成高质量视频。它们中的一些（如MFQE, STDF）从临近帧中挖掘时空信息。但是这些方法通常会受到这个有限的时空窗口影响，从而使得不能从窗口外的帧中获取有用的细节。为了促进视频压缩残影去除任务，我们提出了递归融合机制去同时利用临近帧和前置帧来更好地进行时空信息补偿。除此之外，我们认为有些多残影的区域（如运动中的物体的边界）更应该得到注意。因此我们提出了一个可变时空卷积模块来使模型更focus on这些区域。充分的实验证明我们的方法在MFQE 2.0数据集上取得了至今为止最好的效果。

介绍（略）

相关工作（略）

方法：

STFF模块：第一个STDF做初步融合，随后使用RF模块修正当前特征的结果。

递归体现在：

每一次使用STDF的融合结果 和上一步RF模块输出的hidden state  生成 。

QE模块：在原先的L个卷积中堆L个DSTA模块。DSTA模块可见：

其中一开始是一个特征减少模块，包括一个降channel数的和下采样的。随后利用红框部分做可变性注意力。最后利用通道注意力（此时时间信息在经历过RF后被合入了channel轴）进行时空依赖挖掘。

实验：我们在MFQE2.0上开展实验。下面仅展示总体提升。

更小的计算量和参数，更好的效果。

最后附上一段可视化视频demo(csdn尚未上传，可见知乎或者github首页)：

https://zhuanlan.zhihu.com/p/396552242