news 2026/7/1 4:58:18

一文读懂字符与编码

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
一文读懂字符与编码

整内容也可以在公众号「非专业程序员Ping」查看

一、字符/Character

对用户可见的“一个字符”,通常是我们在屏幕上看到的一个字母、数字、emoji 或组合字符。

比如:a、é、👨‍👩‍👧‍👦

二、字符编码标准/字符集

字符编码标准定义的是如何将字符映射到唯一编码,常见的字符编码标准比如ASCII、Unicode、GBK等

2.1 ASCII

ASCII(7位)定义了 128 个字符的唯一编码,包括数字0到9、小写字母a到z、大写字母A到Z以及常用标点符号等。

2.2 Unicode

Unicode又叫万国码,目标是为所有字符定义唯一编码(Code Point)。为了解决ASCII/GBK不能定义全部字符的问题。

比如:

a -> U+0061

👨 -> U+1F468

注意:

Unicode只负责分配码位(Code Point),并不决定具体的存储形式。

Unicode的前 128 个码点与ASCII相同。

2.2.1 Code Point

Code Point也叫码位,Unicode中为每个字符分配的唯一编码。

一个字符可以对应一个或多个Code Point,比如:

a:U+0061,对应 1 个Code Point

👨‍👩‍👧‍👦:U+1F468 (👨) + U+200D (ZWJ) + U+1F469 (👩) + U+200D (ZWJ) + U+1F467 (👧) + U+200D (ZWJ) + U+1F466 (👦)对应 7 个Code Point

é:U+00E9或U+0065 + U+0301

备注:

在Unicode中,é实际上有两种表示方式:

单一字符表示法:即直接使用U+00E9这个单独的Unicode码位表示é。

组合字符表示法:使用U+0065(字母e)和U+0301(重音符号)两个Unicode码位来表示一个é字符。

为什么会有这两种表示法?

历史原因:Unicode设计时考虑到了不同语言的需求,许多语言(如法语、西班牙语等)使用带有重音符号的字符,因此,Unicode同时支持这两种表示方式。

兼容性:一些旧的系统或字体可能只支持分解字符表示法,因此,Unicode也保留了这种组合字符的方式,以提高兼容性。

2.2.2 Code Unit

Code Unit也叫码元(代码单元),表示计算机中实际存储Unicode的基本单位,取决于编码方式。

比如:

UTF-8: Code Unit是 1 字节(8 Bit);比如:a在UTF-8编码下占 1 个字节,表示为0x61。

UTF-16: Code Unit是 2 字节(16 Bit);比如:a在UTF-16编码下占 2 个字节,表示为0x0061。

UTF-32: Code Unit是 4 字节(32 Bit);比如:a在UTF-32编码下占 4 个字节,表示为0x00000061。

三、字符编码方式

字符编码方式决定了字符如何存储、传输和解码;常见的编码方式有:UTF-8、UTF-16、UTF-32等

UTF-8:可变长度,用 1 到 4 个字节来存储 Unicode 字符;为了节省存储资源。

UTF-16:可变长度,用 2 或 4 个字节存储字符。

UTF-32:固定长度,每个字符始终使用 4 字节存储。

比如:

é的Code Point是:U+0065 + U+0301

当以UTF-32方式编码时,每个Code Point未超过4字节,所以表示为:0x00000065,0x00000301

当以UTF-16方式编码时,每个Code Point未超过2字节,所以表示为:0x0065,0x0301

当以UTF-8方式编码时,0x0301值超过了128,需要按UTF-8格式拆分为0xCC,0x81,所以表示为:0x65,0xCC,0x81

Q:UTF-8编码为什么是按128做比较,按理说1字节(0xFF)表示的最大值是255?

A:有两个原因:一是为了与ASCII兼容,ASCII只支持了128个字符编码,在UTF-8编码中,前128位与ASCII编码相同;二是UTF-8编码中,会将第一个字节的高位部分用来标识这个字符的编码长度,具体为:

0xxxxxxx:表示 1 字节字符(ASCII 范围)

110xxxxx:表示 2 字节字符

1110xxxx:表示 3 字节字符

11110xxx:表示 4 字节字符

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/1 1:19:11

基于ARMCortex-M4F内核的MSP432MCU开发实践【1.5】

3.3.6 特殊寄存器 1.中断寄存器 3个中断寄存器用于控制异常的使能和禁用。只有在特权级下,才允许访问这3个寄存器。对于时间关键任务来说,PRIMASK(优先级屏蔽寄存器)和BASEPRI(基本优先级屏蔽寄存器)对于暂时关闭中断是非常重要的。而FAULTMASK(故障屏蔽寄存器)则可以…

作者头像 李华
网站建设 2026/7/1 21:19:33

Open-AutoGLM与JMeter对比分析(深度技术解密,仅限专业人士)

第一章:Open-AutoGLM与JMeter对比分析的核心维度在自动化测试与智能模型驱动的性能评估领域,Open-AutoGLM 与 JMeter 代表了两种不同的技术范式。前者基于大语言模型实现智能化测试脚本生成与场景推理,后者则是传统的负载测试工具&#xff0c…

作者头像 李华
网站建设 2026/7/1 13:15:27

【AI驱动测试新纪元】:Open-AutoGLM与SoapUI协同能力差距竟达5倍?

第一章:AI驱动测试新纪元的背景与意义随着软件系统复杂度的持续攀升,传统测试方法在覆盖率、效率和维护成本方面逐渐显现出局限性。人工智能技术的快速发展为软件测试领域带来了全新可能,推动测试流程从“人工主导”向“智能驱动”演进。AI不…

作者头像 李华
网站建设 2026/6/30 14:54:06

Open-AutoGLM与Parasoft SOAtest集成路径详解,资深架构师20年实战经验分享

第一章:Open-AutoGLM与Parasoft SOAtest集成差异在自动化测试工具的生态系统中,Open-AutoGLM 与 Parasoft SOAtest 的集成方式呈现出显著的技术路径差异。两者虽然均支持 API 测试与持续集成流程嵌入,但在架构设计、协议兼容性及扩展机制方面…

作者头像 李华