ASCII、Unicode和UTF-8

最新推荐文章于 2022-04-25 10:21:52 发布
最新推荐文章于 2022-04-25 10:21:52 发布
阅读量146 收藏
点赞数
分类专栏： python 文章标签： 乱码 python
原文链接：https://www.liaoxuefeng.com/wiki/1016959663602400/1017075323632896
版权

ASCII、Unicode和UTF-8这三种编码的关系
计算机在处理文本的时候 最终都是要转化成二进制的 通过对应的编码将文本转化成对应的二进制 反正也是一样的 讲二进制通过某种编码格式转化对应的文本 ，如果在转化过程中出错的话就会出现乱码

发展历程

ASCII -》Unicode -》 UTF-8

ASCII -》Unicode -》

发展原因 和 解决的问题
ASCII编码是1个字节，而Unicode编码通常是2个字节
ASCII -》Unicode
因为计算机是美国人发明的，所以ASCII编码中一个被转化的文本内容就不是很多基本只有一些特殊符合、数字、英文字母、在这个计算机盛行的时代很显然不够用，所以就诞生了Unicode编码，通过增加字节来增加可以被编码的文本

Unicode -》 UTF-8

新的问题又出现了：如果统一成Unicode编码，乱码问题从此消失了。但是，如果你写的文本基本上全部是英文的话，用Unicode编码比ASCII编码需要多一倍的存储空间，在存储和传输上就十分不划算。
所以，本着节约的精神，又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符，用UTF-8编码就能节省空间

字符ASCIIUnicodeUTF-8
A0100000100000000 0100000101000001
中无01001110 0010110111100100 10111000 10101101

在这里插入图片描述

奥吼吼~~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文搞懂ASCII、Unicode与UTF-8
⚡
06-27 1329
Unicode是字符集，而UTF-32、UTF-16、UTF-8是Unicode的一种编码方案（实现方式），旨在将码位转换成可以存储和传输的字节序列。
ASCII，非ASCII、Unicode、UTF-8、,UTF-16、UTF-32
weixin_30770783的博客
10-31 1635
概述： ASCII：英语系编码 0~127，1个字节，高位为0，满足英语系使用，及常规键盘上的所有基本按键。 非ASCII：欧洲系编码，加入了对注音符号等的控制。1个字节，高位可以为1，为0时跟ASCII保持一致，为1时则为非ASCII码，0-255。 Unicode：（统一码、万国码、单一码）：为了实现全世界所有字符唯一性的一套编码集，1990年开始研发，1994年正式公布，但很长时间内没...
libunicode：现代C ++ 17 Unicode库
02-04
现代C ++ 17 Unicode库 该库的目标是通过简单易懂的API为C ++带来无痛的unicode支持。 选择API命名约定以使使用C ++标准库的用户熟悉。 功能概述 用于访问UCD属性的API UTF8 <-> UTF32转换 相当于wcwidth（ int unicode::width(char32_t) ） 字素分割（UTS算法） 符号/表情符号分割（UTS算法） 脚本分段 大多数部分的单元测试（宽度/分段） 通用文本运行分段（适用于文本整形实现的顶级分段API） 分词（UTS算法） CLI工具： uc-inspect用于通过代码点属性，字素簇，单词，脚本等
jsp超链接传递中文乱码问题
huang543699390的专栏
12-02 2565
当以url的形式（url?param=...）传递参数时，如果传递的是日文，或中文字符串那么在接收的时候是乱码形式。 javascript： encodeURI(value)：将value转换成utf-8， decodeURI(value)：将utf-8的value反转成字符串。 java： URLDecoder.decode(value, "utf-8"); URLEncod
lutf8lib.c解析（5.3.4）
活在阳光下
09-01 543
/* ** $Id: lutf8lib.c,v 1.16 2016/12/22 13:08:50 roberto Exp $ ** Standard library for UTF-8 manipulation ** See Copyright Notice in lua.h */ #define lutf8lib_c #define LUA_LIB #include "lprefix.h"
ascii码，unicode编码，utf-8编码
weixin_41228949的博客
12-28 1794
我理解的ascii码，unicode编码，utf-8编码； 1、ascii编码： 美国于上个世纪60年代制定了一套字符编码，英语字符与二进制位之间对应关系，做了统一规定。故此诞生了一直沿用至今的ASCII码。 2、unicode编码 英语用128个符号编码就足够了，但是用来表示其他语言，128个符号是不够的。 此时，unicode编码出现了。 unicode是这样一种编码，将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码（在0-127位，unicode与ascii表...
ASCII码转化成UTF-8
weixin_30426957的博客
07-14 9745
int AsciToUtf8(char* pSrc, unsigned int nSrcLen, char* pBuffer, unsigned int nBufferLen) { assert(pSrc != NULL); int nRet(0); int nUtf16Len = MultiByteToWideChar(CP_ACP, 0, pSrc, ...
ASCII Unicode 和UTF-8区别
11-05
ASCII 码、Unicode 和 UTF-8 之间的关系是，ASCII 码是一种早期的字符编码标准，但只能表示英语字符和一些控制符号，Unicode 是一种所有符号的编码，而 UTF-8 是 Unicode 的一种实现方式，是互联网上使用最广的一种 ...
字符编码笔记 ASCII，Unicode和UTF-8
10-27
本文将深入探讨ASCII、Unicode和UTF-8三种编码系统。 1. ASCII码（American Standard Code for Information Interchange，美国信息交换标准代码）是最早且最基础的字符编码，由7位二进制数组成，可表示128个不同的...
JS实现unicode和UTF-8之间的互相转换互转
10-19
在JavaScript中，Unicode和UTF-8是两种常见的字符编码方式，它们之间存在转换的需求。Unicode是一种通用的字符编码标准，可以表示世界上几乎所有的字符。而UTF-8是Unicode的一种变体，它是一种可变长度的编码，根据...
UnicodeMFClib
07-19
出现LINK : fatal error LNK1104: cannot open file "mfc42ud.lib" 错误 修改Unicode出现如上述的问题，解决方法:https://blog.csdn.net/can_yi/article/details/7280289
ASCII、Unicode、GBK和UTF-8字符编码的区别联系
02-19
ASCII、Unicode、GBK和UTF-8字符编码的区别联系
PHP如何实现Unicode和Utf-8编码相互转换
12-19
相比之下，UTF-8是一种基于Unicode的变长编码方式，它可以更有效地存储英文和其他主要使用少量字符集的语言。UTF-8编码的特点是，根据字符码点的大小，使用1至6个字节来表示一个字符。例如，ASCII字符仅需1个字节，...
字符与编码：ASCII码、Unicode和UTF-8区别
蛮荒仙侠
04-25 1277
字符与编码的问题，之前很少深究，但这次遇到了base64的问题，所以觉得是时候解决一下了，不一定全面，但想尽可能记录一些想知道的点。。。 首先，为什么需要编码？？因为计算机本身可不认识：‘你在做什么？’、‘what are you doing?’等这么人类性的语言；在计算机内部，所有的信息都表示为一个二进制的字符串。而每一个二进制位（bit）有0和1两种状态，具体哪些二进制数表示什么字符，多少位表示什么字符，需要有一个标准，也就是编码。 字节（Byte）：是计量存储容量的单位，是构成信息的一个很小的单位，上
ASCII，Unicode，UTF-8三者区别和关系分析
m0_52364932的博客
11-30 1641
ASCII,Unicode和UTF-8均为计算机系统中对字符的编码方式，现在对三者的区别和关系进行分析： ASCII： ASCII 码由美国制定，使用指定的 7 位或 8 位二进制数（单字节）组合来表示 128 或 256 种可能的字符。标准 ASCII 码也叫基础ASCII码，使用 7 位二进制数来表示所有的大写和小写字母，数字 0 到 9、标点符号， 以及在美式英语中使用的特殊控制字符。 例如：在ASCII码当中，01000001这个8位二进制数（也就是十进制65）表示字符‘A’，所以当我们输
字符编码中ASCII、Unicode和UTF-8的区别
ThisEqualThis的博客
07-11 1469
字符编码ASCII、Unicode、UTF-8编码的区别
从ASCII码->Unicode->UTF-8历史变迁，你知道它们的差异吗？
08-23 340
说到ASCII，Unicode和UTF-8，可能大家都知道是字符编码，但具体含义，以及其中差异，可能很多人都不知道。一、名称解释ASCII：AmericanStanda...
【字符编码】 简洁理解ANSI,UTF8,Unicode,ASCII编码的差别
bandaoyu的note
02-22 9530
1. ASCII和ANSI编码 ASCII:单字节内码 -- Single-Byte character sets (SBCS),能够支持256个字符编码. #一个字节表示表示一个字符 如 A 只需一个字节 ANSI:双字节内码 -- Double-Byte character sets)(DBCS),能够支持65000个字符编码. #两个个字节表示表示一个字符 如 你 需......
ASCII码、Unicode码、UTF-8编码
zyz00000000的博客
08-26 3065
标准ASCII 码也叫基础ASCII码，使用7 位二进制数（剩下的1位二进制为0）来表示所有的大写和小写字母，数字0 到9、标点符号，以及在美式英语中使用的特殊控制字符[1]。 其中： 0～31及127(共33个)是控制字符或通信专用字符（其余为可显示字符），如控制符：LF（换行）、CR（回车）、FF（换页）、DEL（删除）、BS（退格)、BEL（响铃）等；通信专用字符：SOH（文头）、EOT（文尾）、ACK（确认）等；ASCII值为8、9、10 和13 分别转换为退格、制表、换行和回车字符。它们...
Unicode 和 utf-8
最新发布
06-13
Unicode和UTF-8都是字符编码标准，但它们的设计目标和实现方式有所不同。 Unicode是一种字符集，它定义了每个字符对应的唯一编号，这个编号称为Unicode编码。Unicode编码不是具体的存储方式，而只是一种规定。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值