【插帧学习】传统插帧算法原理（MEMC）

以是否对视频序列进行运动估计以及运动补偿，可以简单将帧率转换分为2类。

• 第一类：不考虑物体的运动信息，直接对前后帧进行组合，利用一种或多种组合方式内插出中间帧。例如时域线性/非线性插帧法、帧重复法。
• 第二类：使用物体的运动信息进行补偿插值，例如MEMC、光流法。

 1. 组合法

帧重复、帧平均等

 2. MEMC

ME运动搜索：

        传统运动估计算法：全搜索法、三步搜索法、二维对数搜索、交叉搜索法、共轭方向搜索法、新三步搜索法。

传统运动估计算法不能用作帧率转换的原因：

• 计算量太大。传统的运动估计算法在视频编码领域可以很好应用，但是计算量太大，在帧率转换上无法达到要求，不利于帧率转换的硬件实现。
• 没有平滑限制。帧率转换对运动矢量的要求，最重要的是平滑限制，其次才是运动矢量的真实性。用不平滑的矢量场得到的内插帧块效应比较明显，严重影响图像质量。以上传统运动估计算法并没有考虑到运动矢量场的一致性，得到的运动矢量没有任何平滑限制，仅靠误差来选取运动矢量。

三维递归搜索块匹配运动估计

三维递归搜索块匹配运动估计基于两个假设：

• 图像中物体比匹配块大
• 物体具有惯性

空间递归搜索、时间递归搜索

候选MV如下，3DRS会在零MV、a方向MV以及b方向MV中找出SAD最小的MV。对于空域MV还会在其基础上加上offset，其中大offset有利于加速收敛，小offset有利于保持矢量场的平滑性。

（1）零MV

（2）a方向

• 空域Sa的MV
• 空域Sa的MV+offset
• 时域Ta的MV

（3）b方向

• 空域Sb的MV
• 空域Sb的MV+offset
• 时域Tb的MV

        在以上候选中通过SAD选出最好的MV，这里的SAD指示的是t-1帧与t+1帧对应块之间的SAD。当找到p0和p2之间对应的最佳MV之后，就可以使用运动补偿得到中间块。

MC运动补偿：

       在ME运动估计找到了MV后，MC会用MV将中间帧补偿出来。主要有3种方法，具体如下：

• 运动矢量映射补偿插值法

基于假设：物体保持匀速直线运动。运动是可平移的。

将t-1帧地运动矢量按比例进行缩放，映射为t帧的运动矢量，然后通过单向或双向运动补偿产生插值帧。这种方法不会产生空洞和重叠，因为中间帧的每个块都有自己的mv。步骤如下：

• 首先固定中间块P的位置。

• 对于t-1帧中与P相同位置的块A，通过ME找到了它的MV，在t+1帧上对应块为A1。
• 对于P块，由于与A块的位置相同，因此假设它的MV与A相同。那么P块则对应B和B1块。对B和B1块进行插值，即可得到P块。

插值公式：

       其中v表示t-1帧至t+1帧的运动矢量，vx是水平分量，vy是垂直分量。

• 对称运动补偿插值法

基于假设：物体保持匀速直线运动

       这里首先确定中间块的位置，然后再参考帧t-1和参考帧t+1中，中心对称地搜索，从中选择出残差最小地一堆作为最佳匹配块来对当前块进行预测。

• 直达运动补偿插值法

基于假设：物体匀速线性运动。

直接把块从参考帧t-1（t+1）至参考帧t+1（t-1）的运动轨迹映射到中间帧t内。但这种做法可能产生重叠和空洞。