[编码] Unicode/MBCS 基础知识

最新推荐文章于 2024-07-30 23:06:43 发布

zlllc

最新推荐文章于 2024-07-30 23:06:43 发布

阅读量939

点赞数 16

分类专栏： # 编码文章标签：前端

本文链接：https://blog.csdn.net/zlllc/article/details/136528005

版权

编码专栏收录该内容

2 篇文章 0 订阅

订阅专栏

文章目录

Unicode 和 UTF
MBCS
MBCS编码到Unicode的转换
参考

Unicode 和 UTF

Unicode是字符集，规定了每个字符的数值。UTF是某种实现方式，有UTF8/16/32几种。不同的UTF方式，是按照不同规则存储二进制Unicode数值。

UTF8

utf8是变长编码。
如果是1字节，它和Ascall码是一样的。
多字节时第一字节的第一位开始填1，有几个1表示占几个字节，比如110x xxxx表示两个字节，第二个字节开始一直到结束，都是10开头，
汉字"安"为例：
Unicode码：0x5B89
Unicode码二进制：0101 101110 001001
utf8格式中：1110 0101 10 101110 10 001001
utf8码： E5AE89

UTF16

utf-16的长度固定为2个或者4个字节。
通常使用2个字节，编码就是Unicode码，不足2个字节的位数在前边补0。
汉字"安"，它的Unicode码是0x5B89，所以utf-16码也是0x5B89。
如果用UTF16表示AscII码的字符，也会占据两个字节，因此有一部分空间浪费。
编码Unicode辅助平面的字符时，utf-16占用4个字节，平时几乎用不到。

UTF32

utf-32编码固定占用4个字节，对应的是全部Unicode码，这种编码方式基本用不到。

BOM，LE，BE

BOM是字节序标记，Byte order mask。
LE小端存储，BE大端存储
utf-16le 0xFFFE表示小端序，utf-16be 0xFEFF表示大端序。
utf-8可以不添加bom，也可以添加。bom固定为0xEFBBBF。选择编码方式为utf-8 with bom时，文件流中会出现这个bom,
这个bom也只用来标识编码方式是UTF8用于区分ASCII等编码。带了BOM后无法跨平台，不带BOM的才是UTF8标准形式。
因为utf8是变长的，它根据第一个字节信息判断每个字符的长度，不存在正反顺序的问题。

MBCS

MBCS指的是多字节字符集。
MBCS是在ACSII的基础上进行的扩展，可能在相同的编码范围内，不同国家或者组织有不同的扩展。

By definition, the ASCII character set is a subset of all multibyte-character sets. In many multibyte character sets, each character in the range 0x00 - 0x7F is identical to the character that has the same value in the ASCII character set. For example, in both ASCII and MBCS character strings, the 1-byte NULL character (‘\0’) has value 0x00 and indicates the terminating null character.
来源：https://learn.microsoft.com/en-us/cpp/text/unicode-and-mbcs?view=msvc-170

所以MBCS字符集需要搭配操作系统不同的locale来使用（Unicode就是一个字符集包含全世界所有符号）。

多字节字符编码（MBCS），但是由于实际上都是两个字节，因此有的时候我们也将其称之为双字节字符编码（DBCS）。微软也将其称之为美国国家标准（ANSI），所以我们在使用操作windows系统的记事本的时候，在另存时选择字符编码为ANSI，如果你是简体中文操作系统，其实就是GBK，而如果是繁体操作系统的话，则是BIG5编码。IBM为了统一各国字符编码系统，他把所有的编码编成了一本厚厚的“书”，中文的GBK编码在936页，因此也称之为CodePage-936，而BIG5在950页，也称之为CodePage-950。
来源：https://www.cnblogs.com/IvyWong/p/10087847.html