# 字符集的那些知识（相信你能看懂）

已于 2023-06-08 21:18:50 修改
阅读量1.2k 收藏 1
点赞数
分类专栏： IT 文章标签： 开发语言
于 2023-03-25 15:56:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhf_sy/article/details/129767087
版权
文章介绍了字符集的基本概念，包括ASCII、Unicode和ISO的UCS标准。详细阐述了Unicode1.0和2.0的字符集以及对应的UTF-8、UTF-16和UTF-32编码方式。还提到了UTF-8编码的特性，以及C.UTF-8和en_US.UTF-8的区别。
摘要由CSDN通过智能技术生成

字符集的那些知识（相信你能看懂）

文章目录

1 字符集组织与标准

ASCII字符集(American Standard Code for Information Interchange，美国信息交换标准码)，它使用7 bits来表示一个字符，总共表示128个字符。（IBM后来扩展到8bits，256个字符）

英文字母加特殊字符不会超过256个，一个字节就够了，但其他一些文字就不行，像汉字就上万个，于是又出现了其他各种字符集，这样不同的字符集交换数据时就有问题了，可能你用某个数字表示字符A，但在另外的字符集这个数字表示的却不是A，这样交互起来就麻烦了，于是就出现了Unicode和ISO这样的组织来统一制定一个标准，任何一个确定的数字只对应一个字符，ISO取的名字叫UCS(Universal Character Set)，Unicode取的名字就叫unicode了。

组织名字符集标准字符集备注
美国国家ASCII标准ASCII（7比特位）英文字符，被Unicode/UCS兼容
UnicodeUnicode标准Unicode 1.0（2字节）、Unicode 2.0（4字节）所有语言通用
ISOUCS (Universal Character Set)标准UCS-2（2字节）、UCS-4（4字节）所有语言通用
中国汉字专用GB2312、GBk、GB18030（GB18030-2000、GB18030-2005）终将淘汰，本文不深入探讨
其他其他专用字符集终将淘汰，本文不深入探讨

Unicode与ISO的字符集标准的编码是完全一样的，我们一般称Unicode编码更为普遍。

2 字符集与对应的编码方式等

2.1 字符集Unicode 1.0（UCS-2）

用两个字节(16bit)来表示所有字符，即最多可以表示2的16次方个字符（65536个）
Unicode版本1下有两种字符集编码方式：UTF-8 和 UTF-16，这里说的是字符集编码方式，不是字符集

在文件的开头用这几个字节标识文件的编码方式：

Unicode字符集（ISO字符集）Unicode编码方式（ISO编码方式）文件开头字节存储占用字节数
Unicode 1.0（UCS-2）UTF-8（无）EF BB BF1-4
Unicode 1.0（UCS-2）UTF-16（UCS-2）FE FF2

注：UCS就是前面说的ISO制定的标准，和Unicode是完全一样的，只不过名字不一样，UCS-2对应UTF-16，UTF-8是没有对应的UCS

2.2 字符集Unicode 2.0（UCS-4）

起初，Unicode使用两个字节（16位）来编码字符，后来，当发现不够时（全世界语言字符那么多），1996年它被扩展到四个字节（32位），对应于UCS-4、Unicode 2.0版本，用四个字节表示所有字符。

在文件的开头用这几个字节标识文件的编码方式：

Unicode字符集（ISO字符集）Unicode编码方式（ISO编码方式）文件开头字节存储占用字节数Unicode 2.0新增的
Unicode 2.0（UCS-4）UTF-8（无）EF BB BF1-7 （理论上）
Unicode 2.0（UCS-4）UTF-16（UCS-2, little endian）FE FF2
Unicode 2.0（UCS-4）UTF-16（UCS-2, big endian）FF FE2是
Unicode 2.0（UCS-4）UTF-32（UCS-4, little endian）FF FE 00 004是
Unicode 2.0（UCS-4）UTF-32（UCS-4, big-endian）00 00 FE FF4是

注：

  • UCS就是前面说的ISO制定的标准，和Unicode是完全一样的，只不过名字不一样，UCS-2对应UTF-16，UCS-4对应UTF-32，UTF-8是没有对应的UCS。

  • Big endian与Little endian的区别：Unicode码可以采用UCS-2格式直接存储，以汉字"严"为例，Unicode码是4E25，需要用两个字节存储，一个字节是4E，另一个字节是25。存储的时候，4E在前，25在后，就是Big endian方式，我们一般称之为"大头方式"；25在前，4E在后，就是Little endian方式，我们一般称之为"小头方式"。大头方式对人类阅读友好，在Unicode 1.0时，只有小头方式。

3 Unicode（UCS）码点值

码点是Unicode标准中很重要的一个概念，一个码点对应一个字符。

  • 【汉】的Unicode码点值是【0x6C49】
kevin@TM1701-b38cbc23:~$ echo -e  '\u6c49'
汉
  • 需要注意的是，一个单一的抽象字符可能对应一个以上的码位。例如，Ω既可以表示大写的希腊字母Omega，码位是U+03A9，也可以表示物理学中的欧姆符号，码位是U+2126。
kevin@TM1701-b38cbc23:~$ echo -e  '\u03a9'
Ω
kevin@TM1701-b38cbc23:~$ echo -e  '\u2126'
Ω
  • 单个抽象字符也可以由一系列码位的序列来表示。例如，é的码位是U+00E9，它也可以由小写字母e（码位为U+0065）'（Combining Acute Accent）（码位为U+0301）组合而成。
kevin@TM1701-b38cbc23:~$ echo -e  '\u00e9'
é
kevin@TM1701-b38cbc23:~$ echo -e  '\u0065\u0301'
é

在Unicode标准中，码点的表示方法通常是使用它们的十六进制，并加上U+前缀。

4 编码方式说明

注：

  • Unicode 1.0、Unicode 2.0：是字符集

  • UCS-2、UCS-4：既是字符集也是编码方式

  • UTF-16、UTF-32：是编码方式，等同 UCS-2 与 UCS-4 编码方式，因为是固定字节长度，所以在存储时无需重新编码，直接存储Unicode编码即可。

  • UTF-8：是编码方式，是存储Unicode字符编码的存储编码方式，非固定长度，根据Unicode字符编码的长度来确定存储该字符需要的字节长度

  • 为什么有了UTF-16、UTF-32编码方式，还要UTF-8编码方式：因为例如在中英文或其他文字大量混合时，UTF-8编码方式可以节省大量存储空间，英文在用UTF-8编码方式存储时，只需占用1个字节，而UTF-32就需要占用4个字节

下面以【汉】举例说明，【汉】的Unicode码点值是【0x6C49】，即为【01101100 01001001】

4.1 用UTF-16（UCS-2）、UTF-32（UCS-4）方式编码

UTF-16（UCS-2）、UTF-32（UCS-4）方式无需重新编码，直接使用字符的Unicode码点值即可。

  • 当用UTF-16（UCS-2）编码方式时，则【汉】直接存储为【01101100 01001001】即可，固定占用16 bit，两个字节，程序解析的时候知道是UTF-16编码，就把两个字节当成一个单元来解析，简单明了。

  • 当用UTF-32（UCS-4）编码方式时，则【汉】直接存储为【00000000 00000000 01101100 01001001】，占用4个字节，前面用0占位补齐即可。

4.2 用UTF-8方式编码

UTF-8 是一个非常惊艳的编码方式，漂亮的实现了对 ASCII 码的向后兼容及减少空间占用，以保证 Unicode 可以被大众接受。

UTF-8 是目前互联网上使用最广泛的一种 Unicode 编码方式，它的最大特点就是可变长。它可以使用 1 - 7 个字节表示一个字符，根据字符的不同变换长度。编码规则如下：

  1. 对于单个字节的字符，第一位设为 0，后面的 7 位对应这个字符的 Unicode 码点。因此，对于英文中的 0 - 127 号字符，与 ASCII 码完全相同。这意味着 ASCII 码那个年代的文档用 UTF-8 编码打开完全没有问题。

  2. 对于需要使用 N 个字节来表示的字符（N > 1），第一个字节的前 N 位都设为 1，第 N + 1 位设为0，剩余的 N - 1 个字节的前两位都设位 10，剩下的二进制位则使用这个字符的 Unicode 码点值来填充。

编码规则如下（x是有效码点位）：

Unicode编码长度Unicode 十六进制码点范围UTF-8 二进制说明
16位0000 0000 - 0000 007F0xxxxxxx用于兼容ASCII
16位0000 0080 - 0000 07FF110xxxxx 10xxxxxx需要两个字节，所以第一字节前导为’110’
16位0000 0800 - 0000 FFFF1110xxxx 10xxxxxx 10xxxxxx…
16位0001 0000 - 0010 FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx需要两个字节，所以第一字节前导为’11110’
24位…以此类推…
32位…以此类推…

【汉】的Unicode码点值是【01101100 01001001】，用上面的编码规，去掉前导【0】，Unicode码点值需要占用15位，得出【汉】需要占用三个字节，所以编码后，他的最终UTF-8编码为【1110 0110 10 110001 10 001001 】

5 C.UTF-8与en_US.UTF-8的区别

C.UTF-8： 一般来说C，适用于计算机，C代表POSIX标准兼容的默认语言环境，只有严格的ASCII字符才是有效的，扩展后允许基本使用UTF-8；UTF-8代表字符集与编码。这一个一般用于数据库环境

en_US.UTF-8： en_US代表美式英语；UTF-8代表字符集与编码

zh_CN.UTF-8： zh_CN代表中国大陆汉语；UTF-8代表字符集与编码

这些会影响它们在排序顺序、大小写关系、排序顺序、数千分隔符、默认货币符号等方面有所不同。

6 最后

爱你

猪猪侠|ZZXia
关注
专栏目录
【图解】连狗子都能看懂的Python基础总结！
程序员干货站
08-05 1886
本节介绍Python程序中常用的变量、数组、函数和类这四个是所有编程语言中使用的重要概念，不仅仅是Python变量盛放数字的盒子数组一个容纳一组数字的盒子函数实现某个功能的一些代码类一个方便的蓝图，汇集了变量、数组和函数变量 盒子里的数字要保持不变数组 一个容纳数字集合的盒子函数 常用过程的集合类 一个方便的蓝图，汇集了变量、数组和函数。...
十年架构师一篇带你读懂 RabbitMQ——核心知识点详解
m0_73849256的博客
09-22 296
MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据（消息）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。
字符集相关知识
weixin_30721899的博客
09-11 70
字符集(Character set)是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同，常见字符集名称：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。 ASCII （American Standard Code for Information Interchange，美国信息互换标准编码）是基于罗马字母表的一套电脑编码系...
应该懂的字符集及其相关的基础知识
weixin_52360364的博客
08-27 399
应该要掌握字符集的基础知识
linux 更改系统默认编码
crackly的专栏
09-17 1775
CentOS VPS下修改语言编码： localedef -c -f UTF-8 -i zh_CN zh_CN.utf8 export LC_ALL=zh_CN.utf8 上面第一步是用来产生编码文件，这一步不是必须，编码文件一般都存在， 运行localedef --help能查看当前编码文件所在的路径。第二步更改当前的编码为zh_CN.utf8，如果要永久更改，运行： echo 'LA
linux C.UTF-8和en-US.UTF-8语言环境有什么区别？（中文乱码问题）locale命令 centos、ubuntu修改编码集（没搞定！）
热门推荐
Dontla的博客
11-17 1万+
一般来说，这不重要。我通常更喜欢enúUS.UTF-8，但通常不重要，在您的情况下（服务器应用程序），它应该只更改日志和错误消息（如果您使用locale.setlocale()）。注意：微优化将规定C/C.UTF-8语言环境：不翻译文件（gettext），以及关于排序和数字格式的简单规则，但这应仅在服务器端可见。一般来说，C指的是计算机，en_US指的是我们中说英语的人（以及其他想要同样行为的人）。，我查看update-locale，貌似有特定方法能设置，，，在您的例子中，它只是两个地区的UTF-8版本。
C 语言中使用多字节字符，通过 UTF-8 支持中文
kikajack的博客
09-01 1万+
C 语言默认的 char 类型是单字节字符，仅支持 ASCII 码。但是 ISO C90 标准开始，定义了 wchar_t 类型用于支持多字节字符（头文件 wchar.h）。 这一版标准中还定义了本地化和国际化相关的头文件 locale.h，可以通过其中的 setlocale 函数设置使用的字符集编码，一般用 UTF-8 足够了。 每一种语言都分为内部编码（程序代码中使用的）和外部编码（例如打开的...
字符编码那些事（C语言版）
Telephone2019的博客
01-21 2352
一篇文章讲明白字符编码
软件测试1-你真的懂测试吗？从“用户登录”测试谈起
最新发布
qq_53280238的博客
06-28 438
首先，对于高质量的软件测试，用例设计不仅需要考虑明确的显式功能性需求，还要涉及兼容性、安全性和性能等一系列的非功能性需求，这些非功能性需求对软件系统的质量有着举足轻重的作用。其次，优秀的测试工程师必须具有宽广的知识面，才能设计出有针对性、更易于发现问题的测试用例。最后，软件测试的用例设计是不可穷尽的，工程实践中难免受制于时间成本和经济成本，所以优秀的测试工程师需要兼顾缺陷风险和研发成本之间的平衡。
Python数据分析步骤？一个案例教你搞懂 !
xiaolinyui的博客
11-29 562
本文首先将会介绍Python在数据分析领域最常见的两个包:pandas和numpy的使用，然后通过一个简单的案例巩固前面的内容。
Centos修改编码集为C.UTF-8
Alex_Sheng_Sea的博客
05-28 3469
1.安装编码集 localedef -v -c -i en_US -f UTF-8 C.UTF-8 2.vim /etc/sysconfig/i18n 写入如下内容 LANG="C.UTF-8" LC_ALL="C.UTF-8" 3.vim /etc/profile export LANG="C.UTF-8" export LC_ALL="C.UTF-8" 4.source /etc/profile 5.locale ...
Linux 字符集 en_us,Linux语言环境：en_US.UTF-8 vs en_US
weixin_35953704的博客
05-12 910
是的,你可能很好.假设en_US.utf8包含UTF-8美国/英语语言环境,它应该可以正常工作.这就是我自己使用的：% echo $LANGen_US.UTF-8如果你运行locale -v -a,它会更具描述性：% locale -v -alocale: en_US archive: /usr/lib64/locale/locale-archive--------------...
docker容器中文乱码
gaoyanfangcsdn的博客
01-07 604
更改编码，让默认编码变成中文。 不知道为什么这个容器里没有locale-gen，所以先安装它，apt-get install locales； 查看vim /etc/locale.gen，拉到最后找到zh_CN.UTF-8，取消注释，保存退出； 然后运行locale-gen； 设置环境，vim /etc/profile，在文件末尾加上export LANG=zh_CN.UTF-8，保存退出； 让配置生效source /etc/profile； ...
字符集和字符编码（附c语言判断utf8编码）
caixiaobai_1的博客
01-07 6392
1.基础知识 1.1.字符集 字符（Character）是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。 字符集（Character set）是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同，常见字符集有：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。 那么为什么会有那么多字符集标准呢？这是因为，很多规...
关于中文乱码问题
北彦南飞
09-03 1224
linux 显示乱码系统：centos 7.2 现象：文件名或者文件内容带有中文字符时，显示乱码。 原因：系统默认的的字符集为en_US.UTF-8 解决：修改系统字符集为zh_CN.UTF-8 查看系统当前字符集，linux命令行输入：echo $LANG 临时修改方案，在命令行输入: export LANG=zh_CN.UTF-8 长期方案，编辑/etc/locale.conf文件，将LA
Linux中的系统语言包及UTF-8、en_US.UTF-8和zh_CN.UTF-8的区别
weixin_39833509的博客
09-30 1万+
UTF-8、en_US.UTF-8和zh_CN.UTF-8的区别 en_US.UTF-8、zh_CN.UTF-8叫做字符集，就是说‘A’、‘B’、‘中’、‘国’等对应的整数值， en_US.UTF-8只包含了ASCII码，zh_CN.UTF-8包含了6000多个汉字？ 如果是这样的话，那所谓UTF-8，就是把这些整数，编写成一串字节的方法？ UTF-8 是编码方式 en_US.UTF-8 和 zh_CN.UTF-8 是语言环境，也就是字符集 en_US.UTF-8 和 zh_CN....
⭐️C语言中的UTF-8编码转换处理
Python老吕的博客
03-10 3487
在计算机中，字符被存储和传输时需要进行编码处理。UTF-8（8位Unicode转换格式）是一种针对Unicode字符集的可变长度字符编码方式。它根据字符的编码不同，使用1到4个字节来表示不同的Unicode字符。在C语言中处理UTF-8编码的字符串确实需要一些额外的注意和技巧。由于C语言标准库并未直接提供对UTF-8复杂处理的原生支持，我们通常需要借助一些方法，如逐个字符遍历或使用第三方库，来实现UTF-8编码的转换和处理。特别是在处理多语言文本时，深入了解UTF-8编码的基础和特性显得尤为重要。
ORACLE字符集 总结
yamhoney的专栏
01-09 426
本文通过解读Oracle安装文档中关于oracle全球化支持的说明，详细的分析了NLS_LANG环境变量的作用和原理。指出疑惑大家的乱码问题的根本，也可以在SQL*PLUS终端中任意的设置提示语言，中文的显示信息使得学习oracle更加方便、有效！
linux locale字符集设置,Linux下通过locale来设置字符集
weixin_42361635的博客
05-12 1643
Linux下通过locale来设置字符集2013-10-06 22:28:25 阿炯在Linux中通过locale指令来设置程序运行的不同语言环境，locale由ANSI C提供支持。locale的命名规则为_.，如zh_CN.UTF-8，zh代表中文，CN代表大陆地区，UTF-8表示字符集。在locale环境中，有一组变量，代表国际化环境中的不同设置，内容如下：各个LC_环境变量含义优先级：LC...
Oracle字符集详解：查看、设置与互换指南
本文主要介绍了Oracle字符集查看与修改的相关知识，包括以下几个关键点： 1. **查看NLS_LANG设置**： NLS_LANG是Oracle用于指定字符集、语言和领土的环境变量，其格式为`NLS_LANG=language_territory.charset`。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值