Unicode,UTF-8,UTF-16,UTF-32简单总结

一、Unicode简介

字符集和字符编码不是一个概念，字符集定义了文字和二进制的对应关系，为字符分配了唯一的编号，而字符编码规定了如何将文字的编号存储到内存中。有的字符集在制定时就考虑到了编码的问题，是和编码结合在一起的；有的字符集只管制定字符的编号，至于怎么编码，是其他人的事情。

Unicode是计算机科学领域里的一项业界标准，包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发，1994年正式公布。Unicode字符集定义了这个世界上几乎所有已知字符的数字表示，而且Unicode还兼容了很多老版本的编码规范，例如 ASCII码。Unicode虽然将全世界的字符进行统一编码处理，但是也存在着一些问题。

Unicode存在的问题：

• 第一个问题是，如何才能区别 Unicode 和 ASCII ？计算机怎么知道三个字节表示一个符号，而不是分别表示三个符号呢？
• 第二个问题是，我们已经知道，英文字母只用一个字节表示就够了， Unicode 统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储来说是极大的浪费，文本文件的大小会因此大出二三倍，这是无法接受的。

Unicode是一种字符集，UTF-8,UTF-16,UTF-32是Unicode的三种不同的编码方式。
Unicode 可以使用的编码有三种，分别是：

• UFT-8：一种变长的编码方案，使用 1~6 个字节来存储；
• UFT-32：一种固定长度的编码方案，不管字符编号大小，始终使用 4 个字节来存储；
• UTF-16：介于 UTF-8 和 UTF-32 之间，使用 2 个或者 4 个字节来存储，长度既固定又可变。

二、码点和码元

码点（Code Point），一个字符的数字表示。一个字符集一般可以用一张或多张由多个行和多个列所构成的二维表来表示。二维表中行与列交叉的点称之为码点，每个码点分配一个唯一的编号数字，称之为码点值或码点编号，除开某些特殊区域(比如代理区、专用区)的非字符代码点和保留代码点，每个码点唯一对应于一个字符。
码元（Code Unit）：在具体编码形式中的最小单位。比如 UTF-16 中一个 code unit 为 16 bits，UTF-8 中一个 code unit 为 8 bits。一个 code point 可能由一个或多个 code unit(s) 表示。在 U+10000 之前的 code point 可以由一个 UTF-16 code unit 表示，U+10000 及之后的 code point 要由两个 UTF-16 code units 表示

其实从我的个人理解来说:

• 在Unicode中为每个字符定义了一串唯一的ID来确定这个字符。这串数字在Unicode中被称作是码点。
• 码元就是切分这个二进制数(码点)的方法。如果有一个字符的码点二进制表示有n字节（n*8个二进制数），其码元为8位（1个字节），那么其拥有码元n个。

UTF是 Unicode Transformation Formats 的缩写，Unicode转换格式是为了解决［码点］在计算机存储方式而设计的。

三、编码空间和BMP

什么是编码空间呢？前面说了Unicode ,它是 21 位的。这 21 位提供了 1,114,112 个码点,编码空间就是对应这1,114,112 个码点。

编码空间被分成 17 个平面（plane），每个平面有 65,536 个字符（正好填充2个字节，16位）。0 号平面叫做「基本多文种平面」（ BMP, Basic Multilingual Plane ），涵盖了几乎所有你能遇到的字符，除了 emoji（emoji位于1号平面 - -）。其它平面叫做补充平面，大多是空的

四、UTF-32

UTF-32 是固定长度的编码，始终占用 4 个字节，它的码元是32位，每32位去读一下码点，由于Unicode长度大概是21位，32位足以容纳所有的 Unicode 字符，所以直接存储 Unicode 编号即可，不需要任何编码转换。浪费了空间，提高了效率。由于UTF-32进行编码的时候太浪费空间了，所以有UTF-8和UTF-16;

五、UTF-16

UTF-16要常见得多，它的码元是16位的，也就是说每16位去读一下码点，获取码点的前16位数字，直到读取完成。BMP平面（也就是前面说的基本多文种平面）中的每一个码点都直接与一个UTF-16 的码元一一映射。所以UTF-16对于常见的字符使用两个字节也就是一个码元，不常用的字符使用4个字节也就是两个码元来编码。这样就大大的节省了空间。

有可能你会问， 对于一个UTF-16编码的扩展字符，它以4个字节来表示，那么前两个字节会不会和BMP平面冲突，导致程序不知道它是扩展字符还是BMP平面的字符？其实是不会的， 幸运的是， 在BMP平面中， U+D800到U+DFFF之间的码位是永久保留不映射到Unicode字符，UTF-16就利用保留下来的0xD800-0xDFFF区块的码位来对辅助平面的字符的码位进行编码。

六、UTF-8

UTF-8 最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。从 0 到 127 的这些码点直接映射成 1 个字节（对于只包含这个范围字符的文本来说，这一点使得 UTF-8 和 ASCII 完全相同）。接下来的 1,920 个码点映射成 2 个字节，在 BMP 里所有剩下的码点需要 3 个字节。Unicode 的其他平面里的码点则需要 4 个字节。UTF-8 是基于 8 位的码元的。UTF-8 是基于 8 位的码元的，因此它并不需要关心字节顺序（因为字节就是8位的呀，其它UTF-16和UTF-32在不同的机器编译环境下需要考虑字节的顺序问题）

UTF-8 的编码规则：
1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的 Unicode 码。因此对于英语字母，UTF-8 编码和 ASCII 码是相同的。
2）对于n字节的符号（n > 1），第一个字节的前n位都设为1，第n + 1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的 Unicode 码。

Unicode符号范围     |        UTF-8编码方式
(十六进制)        |              （二进制）
----------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

七、Java中关于编码的一些问题?

Java 的编码格式

在Java中分内码和外码两种：
内码：char或String在内存里使用的编码方式。
外码：除了内码都可以认为是“外码”。（包括class文件的编码）
java内码：unicode（utf-16）
JVM 默认的外码是：windows–gbk, Linux—utf-8.

一个字符的String.length()是多少？

“string”.length()是返回字符串的长度，这一长度等于字符串中的 Unicode 代码单元的数目。
对于传统的BMP平面的代码点，String.length和我们传统理解的字符的数量是一致的，对于扩展的字符，String.length可能是我们理解的字符长度的两倍。

给一个未知编码格式的文件，怎么判断这个文件是什么编码格式？

• 用现成的库
  使用commons-io中的EncodingDetect工具类。

        String fileEncode=EncodingDetect.getJavaEncode(filePath);       
        String fileContent=FileUtils.readFileToString(new File(filePath),fileEncode);

• 利用各种编码的特点来进行辨别

几种常见的编码格式（ANSI、UTF-8、UTF-8 无BOM、UCS-2 Big Endian、UCS-2 Little Endian）
Unicode规范中推荐的标记字节顺序的方法是BOM。BOM不是“Bill Of Material”的BOM表，而是Byte Order Mark。
在UCS编码中有一个叫做”ZERO WIDTH NO-BREAK SPACE”的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前，先传输字符”ZERO WIDTH NO-BREAK SPACE”。这样如果接收者收到FEFF，就表明这个字节流是Big-Endian的；如果收到FFFE，就表明这个字节流是Little-Endian的。因此字符”ZERO WIDTH NO-BREAK SPACE”又被称作BOM。UTF-8不需要BOM来表明字节顺序，但可以用BOM来表明编码方式。字符”ZERO WIDTH NO-BREAK SPACE”的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB BF开头的字节流，就知道这是UTF-8编码了。

big endian和little endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时，究竟是将6C写在前面，还是将49写在前面？如果将6C写在前面，就是big endian。如果将49写在前面，就是little endian。

详细的检测策略如下：

1. 如果2个字节是0xFF 0xFE,则以Unicode（LE）的方式读取
2. 如果2个字节是0xFE 0xFF,则以Unicode BE的方式读取
3. 如果前2个字节是0xEF 0xBB，那么判断第3个字节是不是0xBF，如果是的话就以UTF-8的方式进行读取。
4. 判断是否符合UTF-8的编码规范，如果符合就以UTF-8的方式进行读取
   如果以上都不是，则以ANSI的方式进行读取。