【漫画】什么是字符集和编码？ASCII、UTF8、UTF16、UTF32又是什么？

 当天下午 

————————

在计算机底层&＃xff0c;比如说你的名字“小萌”在计算机中并不是文字的形式&＃xff0c;而是一串二进制数字&＃xff0c;如“011001100110…”

人类只认识文字&＃xff0c;可惜计算机只认0和1&＃xff0c;双方都不能妥协&＃xff0c;那就必须要有一个从文字到0、1的映射了。

从我们可以看到的文字到0、1的映射称为编码&＃xff0c;反过来从0、1到文字叫解码。这个就是编码的含义。

因为计算机只能处理数字&＃xff0c;如果要处理文本&＃xff0c;就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特&＃xff08;bit&＃xff09;作为一个字节&＃xff08;byte&＃xff09;&＃xff0c;所以&＃xff0c;一个字节能表示的最大的整数就是255&＃xff08;二进制11111111&＃61;十进制255&＃xff09;&＃xff0c;0 - 255被用来表示大小写英文字母、数字和一些符号&＃xff0c;这个编码表被称为ASCII编码&＃xff0c;比如大写字母A的编码是65&＃xff0c;小写字母z的编码是122。

Unicode编码定义了这个世界上几乎所有字符&＃xff08;就是你眼睛看的字符比如ABC&＃xff0c;汉字等&＃xff09;的数字表示&＃xff0c;而且Unicode还兼容了很多老版本的编码规范&＃xff0c;例如刚刚讲过的 ASCII码。

我们国家的每一个人都对应唯一的一个身份证号&＃xff0c;而Unicode也为了每个字符发了一张身份证&＃xff0c;这张“身份证”上有一串唯一的数字ID确定了这个字符。

这串数字在整个计算机的世界具有唯一性&＃xff0c;Unicode给这串数字ID起了个名字叫&＃xff3b;码点&＃xff3d;。

这个&＃xff3b;Unicode转换格式&＃xff3d;的是为了解决&＃xff3b;码点&＃xff3d;在计算机存储方式而设计的。

&＃xff3b;码点&＃xff3d;经过映射后得到的二进制串的转换格式单位称之为&＃xff3b;码元&＃xff3d;&＃xff08;Code Unit&＃xff09;。&＃xff3b;码点&＃xff3d;就是一串二进制数&＃xff0c;【码元】就是切分这个二进制数的方法。

举个例子&＃xff0c;如果有一个字符的码点二进制表示有n字节&＃xff08;n*8个二进制数&＃xff09;&＃xff0c;其码元为8位&＃xff08;1个字节&＃xff09;&＃xff0c;那么其拥有码元n个。

Unicode 编码 发展到今天 扩展到了 21 位&＃xff0c;为啥扩展到21位了呢&＃xff1f;因为一开始老美只考虑自己那26个英文字母和数字&＃xff0c;随着越来越多的国家的语言语言编码&＃xff0c;Unicode不得的继续扩展&＃xff0c;目前21位已经足够使用。

UTF-32是最好理解的一个了。UTF-32也就是说它的码元是32位&＃xff0c;每32位去读一下码点&＃xff0c;而码点是Unicode给字符的编码&＃xff0c;前面也说了&＃xff0c;最长才21位&＃xff0c;因此每一个 UTF-32 值都可以直接表示对应的码点。

什么是编码空间呢&＃xff1f;前面说了Unicode ,它是 21 位的。这 21 位提供了 1,114,112 个码点,编码空间就是对应这1,114,112 个码点。

对了这里要说一下&＃xff0c;这么多码点并不代表有这么多字符&＃xff0c;目前大概只有10%的空间被使用了&＃xff0c;人类社会还没创造出1,114,112 这么多的字符。

编码空间被分成 17 个平面&＃xff08;plane&＃xff09;&＃xff0c;每个平面有 65,536 个字符&＃xff08;正好填充2个字节&＃xff0c;16位&＃xff09;。0 号平面叫做「基本多文种平面」&＃xff08; BMP, Basic Multilingual Plane &＃xff09;&＃xff0c;涵盖了几乎所有你能遇到的字符&＃xff0c;除了 emoji&＃xff08;emoji位于1号平面 - -&＃xff09;。其它平面叫做补充平面&＃xff0c;大多是空的

UTF-16要常见得多&＃xff0c;它的码元是16位的&＃xff0c;也就是说每16位去读一下码点&＃xff0c;获取码点的前16位数字&＃xff0c;直到读取完成。

编码空间这里要用上了哈&＃xff0c;BMP平面&＃xff08;也就是前面说的基本多文种平面&＃xff09;中的每一个码点都直接与一个UTF-16 的码元一一映射。

由于BMP 几乎包括了所有常见字符&＃xff0c;UTF-16 一般需要 UTF-32大约 一半的空间。至于其它平面里很少使用的码点都是用两个 16 位的码元来编码的。

UTF-8 使用一到四个字节来编码一个码点。从 0 到 127 的这些码点直接映射成 1 个字节&＃xff08;对于只包含这个范围字符的文本来说&＃xff0c;这一点使得 UTF-8 和 ASCII 完全相同&＃xff09;。接下来的 1,920 个码点映射成 2 个字节&＃xff0c;在 BMP 里所有剩下的码点需要 3 个字节。Unicode 的其他平面里的码点则需要 4 个字节。UTF-8 是基于 8 位的码元的。UTF-8 是基于 8 位的码元的&＃xff0c;因此它并不需要关心字节顺序&＃xff08;因为字节就是8位的呀&＃xff0c;其它UTF-16和UTF-32在不同的机器编译环境下需要考虑字节的顺序问题&＃xff09;

END

觉得文章不错的&＃xff0c;欢迎点好看和转发&＃xff0c;长按下图关注程序员乔戈里&＃xff0c;收看更多精彩。

今日问题&＃xff1a;

如何看待漫画形式的文章&＃xff0c;欢迎留言&＃xff1f;

留言格式&＃xff1a;

打卡xx天&＃xff0c;答&＃xff1a;xxx

戳我看详情

打卡活动戳上面文字