图像编码中的小白问题sps ,pps ,nalu ,frame ,silce ect....

最新推荐文章于 2023-12-13 22:46:47 发布

zhubo_1117

最新推荐文章于 2023-12-13 22:46:47 发布

阅读量786

点赞数

分类专栏： h264

h264 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

首先我觉得先要找相关书籍把基本原理搞懂，不要急于看标准和源代码。要知道什么是采样格式，什么是I、P、B，他们的原理是什么,了解CAVLC、CABAC熵编码的实现过程，一定要认认真真。这样各个主要模块攻克之后，你就可以结合标准和源代码一步一步的看下去。

下面以解码过程为例说一下具体过程：

1、过程：码流→NALU→RBSP。

如果是字节流的码流当然就首先要对字节流进行解析，这就要看附录 B 了，如何查找起始码和去除伪起始码（为什么有伪起始码呢？）；如果是 RTP 格式的码流，那就要按 RFC3984 来解析了（标准没有规定 RTP 格式码流的解析过程）；字节流解析完后提取出来的就是 NALU 了，对 NALU 的解析就要看第七章了。黑色的粗体字都是在码流中可能出现的语法元素，解码器的首要任务就是要对这些语法元素进行解析。对于这些码流中的语法元素我们要进行解析必须知道三个问题：

（1）、什么时候存在于码流中？这样我们才能知道当前解析的是哪个语法元素；

（2）、采用什么样的熵编码方式？这样我们才能知道如何解析；
（3）、含义是什么？这样我们才知道解析出来之后用来干什么。

NALU 的前面三个语法元素所组成的一个字节我们称为 NALU 头，其余部分（也就是语法表 7.3.1 中的其余部分）我们称为 NALU 体。对 NALU 体的解析要看 7.3.2 小节。因为 NALU 有很多种类型，所以要针对 NALU 的不同类型去解析 NALU 体（表 7-1 说明了不同 NALU 对应的语法表）。例如，如果当前的 NALU 是 SPS，那么当然就要看 7.3.1 小节；如果当前的 NALU 是 DPA，那么当然就要看 7.3.2.9.1 小节了；
        2、对于属于 VCL 的 NALU（哪些 NALU 是 VCL NALU 呢？如果你看了 nal_unit_type 的语义，你就应该知道），例如表 7-1 中类型为 5 的 NALU，根据表 7-1 我们知道 NALU 体的语法表是 7.3.2.8。而从 7.3.2.8 我们可以看到，对这种 NALU 的 NALU 体解析实际就是对片级语法进行解析。语法表 7.3.2.8 显示片级语法解析首先要解析 slice_header()（这种带括号的表示是另一个语法结构），那么 slice_header() 怎么解析呢？往下看，7.3.3 的所有内容都被第一行的 slice_header() 包括在内，所以 7.3.3 就是对 slice_header() 这个语法层的码流规定；
        3、按照语法表 7.3.2.8 解析完了 slice_header() 就该解析 slice_data() 了。下面以最常见的 I 帧（CAVLC 熵编码、非 MBAFF）的解析过程为例简单描述怎么继续读标准。这时在码流中出现的第一个 slice_data() 层的语法元素是语法表 7.3.4 中的 macroblock_layer()，也就是说直接到了宏块层的语法解析，那就要又要看 7.3.5 小节了；
     4、基于我们对编解码流程的了解，我们知道解码是一个预测值加残差得到重建图像的过程，那么我们下面的解码过程就要分成两步走了：首先，得到预测值；其次，得到残差。基于我们对 H.264 关键技术的了解，我们知道 intra 宏块（提醒：我们举的例子是 I 帧，因此解析的是 intra 宏块）的预测值是需要使用到预测模式的，所以我们需要解析语法表 7.3.5 中的 mb_pred(mb_type) 语法层，那么又去看 7.3.5.1 小节。按照 7.3.5.1 小节解析出宏块或块的预测方式后我们怎么计算预测值呢？去看标准 8.3 小节；得到预测值后我们继续按照语法表 7.3.5 解析语法元素直到 residual() 语法层，这就又要去看 7.3.5.3 小节；按照 7.3.5.3 小节解析出残差系数后我们如何把它还原成真实的残差呢？去看标准 8.5 小节；
       5、预测值和残差都有了，加起来就是解码图像了。解码的主要工作到此也算基本完成了。当然，上面的过程中还会用到标准其他章节的相关内容（例如，8.5 小节会用到 5.7 小节中定义的 InverseRasterScan）总体过程也就如此吧，详细内容要大家自己去认真的学习

下面以解码过程为例说一下具体过程：

1、过程：码流→NALU→RBSP。