关于Unicode

定义

Unicode是一个编码方案，Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。

方式

UTF-8、UTF-16、UTF-32都是将数字转换到程序数据的编码方案。

UTF-8

定义

UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，由Ken Thompson于1992年创建，现在已经标准化为RFC 3629。UTF-8用1到4个字节编码Unicode字符。用在网页上可以统一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。

规则

UTF-8编码规则：如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的字节数，其余各字节均以10开头。

优势

UTF-8编码可以通过屏蔽位和移位操作快速读写。字符串比较时strcmp()和wcscmp()的返回结果相同，因此使排序变得更加容易。

UTF-16

定义

UTF-16是Unicode字符编码五层次模型的第三层。即把Unicode字符集的抽象码位映射为16位长的整数（即码元）的序列，用于数据存储或传递。

规则

字符的值小于0x10000的用等于该值的16位整数来表示。 - 字符的值介于0x10000和0x10FFFF之间的，用一个值介于0xD800和0xDBFF(在所谓的高8位区)的16位整数和值介于0xDC00和0xDFFF(在所谓的低8位区)的16位整数来表示。

优势

它是变长码, 与CPU字序有关, 但因为最省空间, 常作为网络传输的外码.。

UTF-32

定义

UTF-32是一种将Unicode字符编码的协定，对每一个Unicode码位使用恰好32位元。

规则

UTF-32 是固定长度的编码，始终占用 4 个字节，足以容纳所有的 Unicode 字符，所以直接存储 Unicode 编号即可，不需要任何编码转换。

优势

浪费了空间但是提高了效率。