成本更低、更优观看体验——自研S265编解码器解析

最新推荐文章于 2024-09-10 01:25:53 发布

我是真的Cc

最新推荐文章于 2024-09-10 01:25:53 发布

阅读量1.1k

点赞数 13

分类专栏：程序员文章标签：人工智能深度学习计算机视觉

本文链接：https://blog.csdn.net/zhendeC1/article/details/137693463

版权

程序员专栏收录该内容

255 篇文章 0 订阅

订阅专栏

在速度方面，s265添加了快速算法与工程两个层次上的优化。

HEVC可以将图像块从64x64划分到4x4，同时块的类型模式激增，备选的编码模式数量是h264的数倍，块划分及模式决策因此成为一个重要的瓶颈。s265从参考块及画面纹理获取先验信息, 通过层级预判，提前跳出算法以及CNN模型辅助决策三步，减少了很大比例的计算量。

我们把CU划分决策模块分成两个步骤，一是纹理强度决策，通过计算CU的纹理梯度来判别平坦块和复杂块，如果是平坦块就直接退出，如果是复杂块就继续向下划分。第一步可以解决大部分划分决策问题，但是对于模棱两可的块，则需要依靠CNN模型来辅助划分。

我们使用了一个5层网络的小模型把决策的准确度从72%提升到了96%；

这个成果我们在 DCC会议上有相关介绍：

Enhance the HEVC Fast Intra CU Mode Decision Based on Convolutional Neural Network by Corner Power Estimation

Liangliang Chang†, Zhenyu Liu⋆, Libo Wang ‡, Xiaobo Li ‡ , 2018 Data Compression Conference

我们知道，RDO包含两个变量，一个是失真，另一个是码率；

失真的计算是对原图和重建图像求误差的平方和，也就会SSE。这里首先要得到重建图像，这是一个相对漫长的计算过程，需要经过运动估计，变换，量化，反变换，反量化，重建等步骤，计算量相当大。

我们注意到DCT变换具有能量不变性，可以在变换后的频域中直接计算失真。这样就可以把后面的反变换，反量化，重建，SSE等过程Bypass掉，节省大量计算。通过此方法，可将整个失真估计模块的速度提升1倍，而bd-psnr损失只有0.023db。

RDO的另一个部分是码率。

H265在量化后会将残差系数分成4x4的sub-block，每个子块包含16个系数一起编码，编码内容包含两个部分，一是系数分布的描述，包括SCF，GTR1，GTR2，对这个部分，我们建立起统计信息的线性估计模型，根据系数特征估算其大小；另一个部分是非零系数的哥伦布码字，每个码字的阶数k是不一致的，这里我们假设每个码字都采用最佳k阶编码，再根据最大码字的分布，给予一个拖尾系数补偿。

通过这项技术，可将码率估计模块加速35.6%，而bd-psnr损失只有0.057db。

AZB (All zero block)是全零块的简称。

通过帧内帧间预测后，失真非常小的块再经过量化残差系数为0，但事先并不知道量化后系数为全0，还是会经过复杂的RDO计算；

有没有办法事先判决它是全零块？答案是可以，根据率失真理论，失真与Q的平方成正比，可以在预测后用SATD估算失真，当其小于一定阈值后就可以判别为全零块。

运动搜索是从参考帧寻找最佳匹配块的过程，包含整像素搜索和分像素搜索，分像素需要做7抽头或8抽头插值滤波，计算量大；整像素搜索已经有比较多的快速算法，但分像素搜索一直没有什么好的方法。在图中矩形的整像素周围，分布着60个分像素点，我们建立二元二次误差平面方程，用9个整像素点来的预测误差来求解方程的5个系数，再对方程求偏导，可得到最佳分像素点的位置。只需计算1个1/4像素点，避免其余59个分像素点的计算；

讲完运动搜索我们来看一下帧内预测，帧内预测利用当前块相邻的上面一行和左边一列来预测当前块的像素值；

H265有35种帧内预测模式，其中有33种角度预测，如果对这33都做计算的话代价非常大。

我们采用采用基于贝叶斯模型的快速决策方法，先计算10,18,26三个方向的代价，通过这3个方向的代价分布决策出最优角度是横向还是竖向，这里就直接把计算量减少一半，再用常规的快速算法5步法对剩下的17种方向进行计算，得到最佳预测角度。

通过这个方法，我们把33个角度计算减少到9次，提高了该模块300%的计算速度。

在rdo之外，我们还改进了slicetype决策算法，动态拉格朗日因子调整算法，快速deblock和sao决策等。

在工程优化方面我们也添加了多项优化，首先是C函数优化，我们通过优化流程逻辑，拆分特殊路径，合并分支，查表，循环优化等方法给rdoq模块，系数解析，deblock等模块带来了接近一倍的提升；其次针对密集计算的函数我们simd化并优化汇编代码的执行速度。

在移动端设备上，我们还为S265编写了大量armv7和arm64 汇编代码，相比C版本有至少1倍的提速，在低端手机iphone 6S上实现了720P 30帧每秒的实时编码。

低时延编码，画质不降提升互动能力

在直播中，低时延意味着沟通高效率和高体验，降延时意义重大。在直播端到端延迟中，编码延迟占了很大比重。但是编码延时与与压缩效率是一对矛盾体，延时越低压缩效率也随之下降，经过我们对X264，X265的测试，在低延时（300ms）模式下，编码效率比不限定延时降低30%，在零延时模式下，编码效率比不限定延时降低50%以上。