数字视频技术介绍 之 基本术语

公众号回复：666，领取学习资源大礼包

这是一份循序渐进的视频技术的介绍，来自 Github 仓库：

https://github.com/leandromoreira/digital_video_introduction

本文档旨在尽可能使用浅显的词语，丰富的图像和实际例子介绍数字视频概念，使这些知识能适用于各种场合。

有兴趣了解更多内容的同学可以下载仓库源码，这里只做摘录，仅供参考。

基本术语

一个图像可以视作一个二维矩阵。如果将色彩考虑进来，我们可以做出推广：将这个图像视作一个三维矩阵——多出来的维度用于储存色彩信息。

如果我们选择三原色（红、绿、蓝）代表这些色彩，这就定义了三个平面：第一个是红色平面，第二个是绿色平面，最后一个是蓝色平面。

an image is a 3d matrix RGB

我们把这个矩阵里的每一个点称为像素（图像元素）。像素的色彩由三原色的强度（通常用数值表示）表示。例如，一个红色像素是指强度为 0 的绿色，强度为 0 的蓝色和强度最大的红色。粉色像素可以通过三种颜色的组合表示。如果规定强度的取值范围是 0 到 255，红色 255、绿色 192、蓝色 203 则表示粉色。

编码彩色图像的其它方法

还有许多其它模型也可以用来表示色彩，进而组成图像。例如，给每种颜色都标上序号（如下图），这样每个像素仅需一个字节就可以表示出来，而不是 RGB 模型通常所需的 3 个。在这样一个模型里我们可以用一个二维矩阵来代替三维矩阵去表示我们的色彩，这将节省存储空间，但色彩的数量将会受限。

 

NES palette

例如以下几张图片。第一张包含所有颜色平面。剩下的分别是红、绿、蓝色平面（显示为灰调）（译注：颜色强度高的地方显示为亮色，强度低为暗色）。

RGB channels intensity

我们可以看到，对于最终的成像，红色平面对强度的贡献更多（三个平面最亮的是红色平面），蓝色平面（最后一张图片）的贡献大多只在马里奥的眼睛和他衣服的一部分。所有颜色平面对马里奥的胡子（最暗的部分）均贡献较少。

存储颜色的强度，需要占用一定大小的数据空间，这个大小被称为颜色深度。假如每个颜色（平面）的强度占用 8 bit（取值范围为 0 到 255），那么颜色深度就是 24（8*3）bit，我们还可以推导出我们可以使用 2 的 24 次方种不同的颜色。

很棒的学习材料：现实世界的照片是如何拍摄成 0 和 1 的。

图片的另一个属性是分辨率，即一个平面内像素的数量。通常表示成宽*高，例如下面这张 4x4 的图片。

image resolution

自己动手：玩转图像和颜色

你可以使用 jupyter（python, numpy, matplotlib 等等）玩转图像。

你也可以学习图像滤镜（边缘检测，磨皮，模糊。。。）的原理。

图像或视频还有一个属性是宽高比，它简单地描述了图像或像素的宽度和高度之间的比例关系。

当人们说这个电影或照片是 16:9 时，通常是指显示宽高比（DAR），然而我们也可以有不同形状的单个像素，我们称为像素宽高比（PAR）。

display aspect ratio

pixel aspect ratio

DVD 的 DAR 是 4:3

虽然 DVD 的实际分辨率是 704x480，但它依然保持 4:3 的宽高比，因为它有一个 10:11（704x10／480x11）的 PAR。

现在我们可以将视频定义为在单位时间内连续的 n 帧，这可以视作一个新的维度，n 即为帧率，若单位时间为秒，则等同于 FPS (每秒帧数 Frames Per Second)。

video

播放一段视频每秒所需的数据量就是它的比特率（即常说的码率）。

比特率 = 宽 * 高 * 颜色深度 * 帧每秒

例如，一段每秒 30 帧，每像素 24 bits，分辨率是 480x240 的视频，如果我们不做任何压缩，它将需要 82,944,000 比特每秒或 82.944 Mbps (30x480x240x24)。

当比特率几乎恒定时称为恒定比特率（CBR）；但它也可以变化，称为可变比特率（VBR）。

这个图形显示了一个受限的 VBR，当帧为黑色时不会花费太多的数据量。

 

constrained vbr

在早期，工程师们想出了一项技术能将视频的感官帧率加倍而没有消耗额外带宽。这项技术被称为隔行扫描；总的来说，它在一个时间点发送一个画面——画面用于填充屏幕的一半，而下一个时间点发送的画面用于填充屏幕的另一半。

如今的屏幕渲染大多使用逐行扫描技术。这是一种显示、存储、传输运动图像的方法，每帧中的所有行都会被依次绘制。

interlaced vs progressive

现在我们知道了数字化图像的原理；它的颜色的编排方式；给定帧率和分辨率时，展示一个视频需要花费多少比特率；它是恒定的（CBR）还是可变的（VBR）；还有很多其它内容，如隔行扫描和 PAR。

自己动手：检查视频属性

你可以使用 ffmpeg 或 mediainfo 检查大多数属性的解释。

推荐阅读：

或许是迄今为止第一篇讲解 fps 计算原理的文章吧

【音视频连载-011】第二季 FFmpeg 一层一层获取文件信息

推荐几个堪称教科书级别的 Android 音视频入门项目

面试中的HashMap、Hashtable和ConcurrentHashMap，你知道多少？

觉得不错，点个在看呗~