数字图像与编码

数字图像与编码

1. 数字图像

人类通过感觉器官从外部世界获取各种形式的信息，并传递给大脑，进行思维，做出反应。其中通过视觉获取的信息占大部分。图像信息具有直观，形象，易懂和信息量大的特点，是人类最丰厚的视觉信息来源。照片，图画，电影，电视等都属于图像的范畴。

图像按其内容的运动状态可分为静止图像和运动图像两大类。运动图像，沿用电视技术的术语，一般称其为视频。电视是最普遍的视频通信方式，以清晰度可分为可视电话，会议电视，标清电视（SDTV），高清电视（HDTV），超高清电视（4K，8K）等。视频信号中的每一幅图像称为一帧。我国所采用的PAL制电视的分辨率为25帧每秒。

图像和视频信号数字化具有许多模拟信号所不具备的优点。数字信号传输质量高于模拟信号传输质量，可经过多次积累而不引起噪声严重积累；易于采用信道编码技术提高传输的可靠性；便于利用时分复用技术与其它通信业务相结合；数字信号易于加密，提高信号的安全性；数字信号易于借助计算机技术进行处理，存储。但是信号数字化后的数据量太大，数码率太高，需要巨大的传输带宽和存储容量。图像的压缩与编码就是在保证图像质量的前提下，用最少量的数码实现数字图像的传输与存储。

2. 图像数据压缩

以高清电视信号为例，其分辨率为1920x1080，每秒钟25帧，那么所需带宽为414.72 Mbps。数字HDTV传输系统要求将1路HDTV图像信号的码率要是到20Mbps，也就是说要求压缩到原来的1/50。

图像信号可以压缩的根据有两方面，一方面是图像信号中存在大量冗余度可供压缩，并且这种冗余度在解码后还可无失真地恢复；另一方面是可以利用人的视觉特性，在不被主观视觉察觉的容限内，通过减少表示信号的精度，以一定的客观失真换取数据压缩。

图像信号的冗余度存在于结构和统计两方面。图像信号结构上的冗余度变现为很强的空间（帧内）和时间（帧间）相关性。电视信号在相邻像素间，相邻行间，相邻帧间存在着这种强相关性。隐藏，采取适当的信号处理技术，解出图像和视频中由于高度相关性带来的冗余，频带是可以压缩的。

信号统计上的冗余度来源于被编码信号概率密度的分布不均匀。例如在预测编码系统中，需要编码传输的是预测误差信号，它是当前待传像素值与预测值间的差分信号。由于电视信号在相邻像素间的强相关性，预测误差很小，预测误差集中分布在0附近。这种即不均匀的概率分布对采用变字长编码压缩码率极为有利，因为在编码时可以对出现概率高的预测误差用短码，对出现概率低的预测误差用长码，则总的平均码长比用固定码长编码短很多。这种编码叫统计编码，熵编码。

充分利用人的视觉特点，是实现码率压缩的又一重要途径。人眼对图像的细节（空间）分辨率，运动（时间）分辨率和灰度（对比度）分辨率的要求都有一定的限度。对于图像信号在空间，时间以及幅度方面进行数字化的精细程度只要达到这个限度即可，超过是没有意义的。

人眼对图像细节，运动和灰度三个方面的分辨率是互相制约的。当人眼对图像的某种分辨率要求很高时，对其它方面的分辨率则降低要求。对于静止画面需要40万个以上像素的分辨率，对于运动画面，所需要的像素分辨率显著降低。对于快速运动的物体需要30Hz的帧率保持活动画面的连贯性，对于缓慢运动的场景和静止的场景帧率可以适当降低。

仅在观察图像中的大块面积时，人眼才能分辨出全部256个灰度等级。而当观察图像局部的小块面积或精致细节时，并不需要那么多的灰度等级。在灰度突变处，由于视觉的掩盖效应，人眼不能察觉到很细致的灰度差别。

当传送一个快速运动图像时，只需要采用较少的灰度等级，因为人眼注意观察运动物体时，对灰度的分辨能力下降。

利用上述视觉特性，在进行图像数字化时可以采用自适应技术，即根据图像的每一局部的特点来决定对它的取样频率和量化的精度，尽量做到与人眼观看这种图像局部时相关的视觉特点相适配。

3. 图像压缩信源编码过程

图像和视频信源编码的整个过程一般由以下三个步骤完成。

1. 对表示信号的形式进行某种映射，即变换描写信号的方式。通过这种映射解除或削弱存在于图像信号内部的相关性，降低其冗余度。例如，在预测编码中，取代原始的像素值，用预测误差表示信号。
2. 在满足对图像质量一定要求的前提下，减少表示信号的精度。这通过采用符合主观视觉特性的量化来实现。
3. 利用统计编码（例如霍夫曼编码，算术编码等）消除追踪被编码符号所含的统计冗余度。

其中信号映射和统计编码这两个环节是可逆的过程，而量化是不可逆的，即量化会产生失真。

PCM是由模拟信号转变为数字信号所必需经过的取样，量化过程。PCM对模拟信号在时间，空间和幅值上的离散处理会不可避免地引入误差。为了保证图像和视频信号从模拟形式变成PCM信号不产生主观上可以察觉的误差，必需保证对信号有足够高的取样频率和量化精度。除过模拟到数字信号的PCM量化外，信源编码过程中的量化实际上是对信号的2次量化。

数字信号在信道中传输时，由于干扰会产生传输误码，特别是当通过信源编码使冗余度压缩越多时，误码影响越严重。所以一般在经过信源编码之后，都要在编码后的码流中有目的地按一定规则加入差错校正码，进行误码防护，这就是信道编码。显然对整个通信系统而言，信道编码增加的冗余度比信源编码去除的冗余度要小的多，从而在通信的有效性和可靠性间实现合理的平衡。

4. 图像编码算法分类

图像编码技术有多种分类方法。根据编码对象的不同，可分为静止图像编码，活动图像编码，黑白图像编码，彩色图像编码等。根据压缩过程中有无信息损失可分为有损编码，无损编码。根据算法中是否采用自适应技术，可分为自适应编码和非自适应编码。最常见的是按算法原来进行分类。常见的图像编码算法主要有如下几类：

4.1 预测编码

预测编码使利用图像信号在局部空间和时间范围内的高度相关性，以已经传出的近邻像素为参考，预测当前像素值，然后量化，编码预测误差。最常用的是差分脉冲编码调制（DPCM）。

与运动估值技术相结合的运动补偿帧间预测是目前视频压缩编码系统中去除信号时间域冗余信息最常用的方法。

4.2 编换编码

变换编码使将一组像素值经过某种形式的正交变换转换成一组变换系数，然后根据人的主观视觉特性对各变换系数进行不同精度的量化后编码的技术。正交变换的作用是解出像素间的空间相关性，降低冗余度。用于图像编码的正交变换如离散傅里叶变换（DFT），沃尔什-哈达吗变换（WHT），哈尔变换（Harr），离散余弦变换（DCT）等。这些变换一般都有快速算法。

DCT已被目前的多种静止和活动图像编码的国际标准所采用。

4.3 统计编码

这是一类根据信息熵原理进行的信息保持型边字长编码，也称熵编码。编码时对出现概率高的时间用短码表示，对出现概率低的事件用长码表示。在目前图像编码国际标准中，常见的熵编码有霍夫曼（Huffman）编码和算术编码。

4.4 子带编码

子带编码属于分析-综合类的编码技术。子带编码的基本思想是，在编码端将图像信号在频率域分裂成若干子带（subband），而后对各个子带用与其统计特性相适合的编码器及比特分配方案进行数据压缩。

除了通过专门设计的正交镜像滤波器实现的经典子带编码方法之外，小波变换是目前使用最多的子带编码方法。

4.5 基于模型的编码

模型基图像编码是一种基于景物三维模型的参数编码方法。相对于基于波形的编码方法而言，对参数编码所需的比特数要少得多。依据对图像内容先验知识的了解，在编解码双方建立一个相同景物的三维模型，基于这个模型，在编码器中对图像内容进行分析，提取景物参数，然后将这些参数编码传送给解码端，解码端根据接收到的参数和建立起的景物模型，采用图像合成技术再重建图像。

模型编码也属于分析-综合编码技术。模型基图像编码目前主要用于以头肩像为对象的低码率可视电话编码。

4.6 其它编码算法

除过上述几大类编码算法外，还有很多其它压缩算法，例如比特平面编码，矢量量化编码，块截断编码，神经网络编码，轮廓编码等。

5. 图像编码的标准

ITU（国际电信联盟）和ISO/IEC（国际标准化组织）等几大标准化组织自20世纪80年代后期以来在全世界范围内积极推动，联合各国在相关领域的专家进行共同研究，先后制定了一系列静止和活动图像编码的国际标准，并致力于面向未来的多媒体编码标准的研究。

关于静止图像压缩编码，1991年通过了JPEG标准。2000年，JPEG委员会公布的国际标准JPEG 2000以小波变换作为基本算法，采用了嵌入式编码技术，在达到更高的图像质量和更高的压缩效率的同时，还能满足在移动和网络环境下对互操作性和可分级性的要求。

1990年颁布了用于视听业务的视频编码标准即H.261。随后ITU-T针对不同的电信通信网络中对实时视频通信系统的需要，先后完成了H.26X系列中多个视频编码标准，其中包括H.261，H.262，H.263，H.264，H.265。

在H.261制定的同时，ISO/IES联合技术委员会下属的分委员会于1988年成立了运动图像专家组MPEG。该委员会先后通过了MPEG系列的多个音视频压缩编码标准，包括MPEG-1，MPEG-2，MPEG4等。

ITU-T和ISO/IES这两个标准化组织除了独立制定相关标准外，还进行合作。于2001年成立了视频联合工作组JVT。2003年该工作组正式公布了H.264/MPEG-4 AVC。H.264/MPEG-4 AVC的压缩性能明显超出了以前的视频压缩标准。

HEVC是High Efficiency Video Coding的缩写，是一种新的视频压缩标准，用来以替代H.264/AVC编码标准，2013年1月26号，HEVC正式成为国际标准。