[信息论与编码理论专题-26]：信息如何被量化的？它的意义以及用途？

信息的量化是20世纪科学最重要的突破之一，它将原本抽象、主观的“消息”或“知识”转化为可测量、可计算、可传输的数学对象。这一过程的核心由克劳德·香农（Claude Shannon）在1948年创立的信息论（Information Theory）完成。

下面从如何量化、意义何在、用途何在三个维度系统解析：

一、信息是如何被量化的？——香农的信息熵

1.核心思想：信息 = 不确定性的减少

• 如果一件事必然发生（如“太阳明天会升起”），它不带来新信息；
• 如果一件事极不可能发生（如“明天下陨石雨”），一旦发生，就携带大量信息。
• 因此，信息量与事件发生的概率成反比。

2.数学定义：自信息（Self-Information）

对一个发生概率为 P(x)P(x) 的事件 xx ，其信息量定义为：

I(x)=−log⁡2P(x)（单位：比特, bit）I(x)=−log2​P(x)（单位：比特, bit）

✅ 举例：

• 抛一枚公平硬币，“正面”概率 P=0.5P=0.5 → I=−log⁡2(0.5)=1I=−log2​(0.5)=1 比特；
• 掷一个公平骰子，“6点”概率 P=1/6P=1/6 → I≈2.58I≈2.58 比特；
• “某人今天呼吸”概率 ≈1 → 信息量 ≈0。

3.平均信息量：信息熵（Entropy）

对于一个随机变量XX （如一串文本、一次通信），其整体不确定性用熵衡量：

H(X)=−∑iP(xi)log⁡2P(xi)H(X)=−i∑​P(xi​)log2​P(xi​)

• 熵越高→ 系统越不确定 → 潜在信息量越大；
• 熵越低→ 系统越可预测 → 信息冗余多。

✅ 举例：

• 英文文本熵约为4.7 比特/字符（因字母分布不均、有语法约束）；
• 完全随机字符串熵 = log⁡2(2^6)≈4.7log2​(2^6)≈4.7 （若26字母等概率）；
• 中文因字频集中，熵更低，压缩潜力更大。

二、信息量化的意义：一场认知革命

1.剥离“意义”，聚焦“传输”

• 香农明确指出：“信息论不关心语义（meaning）。”
• 这一“去意义化”看似冷漠，却使信息成为工程可处理的对象——就像物理学不关心“美”，只关心“力”。

2.统一通信的底层逻辑

• 无论传递的是文字、语音、图像还是DNA序列，在信息论眼中都是符号流；
• 所有通信系统（烽火台→5G→神经信号）都面临相同问题：如何在噪声中高效可靠地传信？

3.揭示“冗余”的价值

• 日常语言冗余度高（如“非洲鼓语”重复节奏），看似浪费，实为抗干扰机制；
• 香农证明：只要传输速率低于信道容量，总可通过编码实现无差错通信。

4.连接物理与信息

• 后来发现：信息具有物理性（Landauer 原理：擦除1比特至少耗散 kTln⁡2kTln2 能量）；
• 黑洞热力学、量子信息等前沿领域，均以“信息”为基本单元。

🌟哲学意义：人类首次用数学回答了“什么是信息？”——它不再是玄学，而是宇宙的基本属性之一。

三、信息量化的用途：塑造现代世界的技术基石

表格

典型案例：

• ZIP 压缩：利用霍夫曼编码，按字符频率分配短码，逼近熵极限；
• 5G 极化码（Polar Code）：香农1948年预言“存在逼近信道容量的编码”，60年后被Arikan实现；
• AI 训练：交叉熵损失函数本质是最小化预测分布与真实分布的信息差异。

四、局限与反思

尽管信息量化无比成功，但也有边界：

1. 无法处理“意义”
   香农熵无法区分“莎士比亚”和“乱码”——若两者统计特性相同，熵就相同。

2. 忽略上下文与目的
   同一条信息对不同人价值不同（如“下雨了”对农民 vs 游客），但熵是客观的。

3. 高阶结构缺失
   语言的语法、逻辑、情感等深层结构，需借助算法信息论（Kolmogorov复杂度）等扩展理论。

正如格雷克在《信息简史》中所说：
“香农给了我们测量信息的尺子，但没告诉我们什么是值得传递的信息。”

✅ 总结

表格

信息的量化，不仅是技术工具，更是一种世界观——它让我们意识到：宇宙的本质，或许就是一场不断生成、传递与解码信息的过程。