这项由FaceMind公司和香港中文大学联合完成的研究发表于2026年4月，研究者们提出了一个颇具开创性的"文本频率定律"（Adam's Law），揭示了一个有趣的现象：当我们用更常见的词汇与大语言模型对话时，它们的表现会显著提升。这项研究通过arXiv:2604.02176v1可以查询到完整内容。
研究团队发现，就像人类在阅读时对常见词汇反应更快一样，大语言模型在处理高频率出现的文本时也表现得更加出色。他们构建了一套完整的理论框架和实验验证体系，在数学推理、机器翻译、常识推理和工具调用等多个任务中都证实了这一规律的有效性。
这个发现的意义远不止学术层面。在当今AI应用日益普及的时代，如何让人工智能更好地理解和响应我们的需求成为了一个关键问题。研究团队通过大量实验证明，简单地调整我们使用的词汇频率，就能让AI的准确率提升8到15个百分点，这对于实际应用来说是一个相当可观的改进。
一、语言的频率密码
日常生活中，我们都有这样的经验：读到"的"、"是"、"在"这样的常见字词时几乎不需要思考，而遇到"矍铄"、"踌躇"这样的生僻词汇就需要停顿一下。研究团队发现，大语言模型也有类似的特征。
FaceMind公司的研究者们提出了"文本频率定律"这一核心理论。简单来说，当两个句子表达相同意思但使用不同词汇时，使用更常见词汇的句子会让AI模型表现得更好。这就好比两个人用不同方式问路，一个说"请问银行怎么走"，另一个说"请问金融机构的地理位置如何抵达"，虽然意思相同，但前者显然更容易被理解和回应。
为了验证这个理论，研究团队开发了一个巧妙的方法来估算句子层面的频率。他们发现，由于许多AI模型的训练数据都是保密的，无法直接获取词汇频率信息，因此需要依靠公开的网络资源来估算。这就像侦探无法直接获得犯罪现场的完整信息，只能通过各种线索来推断真相一样。
研究团队将句子频率定义为组成这个句子的所有词汇频率的几何平均值。这种计算方式虽然简化了词汇之间的复杂关系，但能够有效地反映出一个句子整体的"常见程度"。就像评估一道菜的受欢迎程度时，我们会综合考虑每种食材的常见性，最终得出这道菜的"大众化"程度。
二、让AI更聪明的三个法宝
为了让这个理论更加实用，研究团队开发了三个相互配合的方法，就像烹饪中的三道工序，每一步都为最终的美味佳肴做出贡献。
第一个方法叫做"文本频率提取"。由于我们无法知道AI模型具体看过哪些训练数据，研究团队通过让模型完成故事续写任务来间接获取这些信息。他们给模型一些句子开头，让它自由续写，然后分析续写内容中词汇的使用频率。这就像通过观察一个人的说话习惯来推断他平时都读什么书一样。通过这种方法，他们能够更准确地估算不同词汇在模型"记忆"中的重要程度。
具体来说，研究团队会给AI模型这样的指令："请对以下数据进行故事续写：某某句子"，然后收集模型生成的内容。这些生成的文本实际上反映了模型在训练过程中学到的语言模式，因此可以作为估算词汇频率的重要依据。这种方法虽然需要额外的计算成本，但能够显著提高频率估算的准确性。
第二个方法被称为"课程式文本频率训练"。这个名字听起来很复杂，但原理很简单：就像教小孩子学习时要从简单到复杂一样，训练AI模型时也要按照从低频率到高频率的顺序来安排学习材料。研究发现，这种训练方式能够让模型更好地理解语言的内在规律。
在实际操作中，研究团队会首先计算训练数据中每个句子的频率分数，然后按照频率从低到高的顺序重新排列这些数据。这样，模型在学习过程中会逐渐从处理相对生僻的表达转向更常见的表达方式，就像学生从解决简单问题开始，逐步挑战更复杂的题目。
第三个方法则是在实际应用时选择高频率的表达方式。当我们需要与AI模型交互时，研究团队建议使用一个"输入改写器"来将我们的问题转换成更常见的表达方式。比如，将"请协助我完成数学运算"改写为"请帮我算数学题"，虽然意思完全相同，但后者使用的都是更常见的词汇，因此能够获得更好的回应效果。
三、覆盖百种语言的大规模实验
为了验证理论的有效性，研究团队进行了一系列规模庞大的实验，涉及数学推理、机器翻译、常识推理和智能工具调用等多个领域。他们的实验覆盖了100种不同的语言，这在人工智能研究中是相当罕见的。
在数学推理任务中，研究团队使用了GSM8K数学题库，这是一个包含小学到中学水平数学应用题的标准测试集。他们将每个数学题都改写成高频率和低频率两个版本，然后分别测试不同AI模型的解答准确率。结果显示，使用高频率表达的数学题在所有测试的模型上都获得了更高的正确率。
以DeepSeek-V3模型为例，当使用低频率表达时，数学题的正确率为63.55%，而使用高频率表达时，正确率提升到了71.54%，提升幅度达到8个百分点。对于GPT-4o-mini模型，提升幅度更是达到了8个百分点，从60.70%提升到68.70%。这种改进对于实际应用来说是非常显著的。
机器翻译实验的规模更加惊人。研究团队测试了从英语翻译到其他100种语言的效果，使用了BLEU、chrF和COMET等多种评估指标。实验结果显示，在DeepSeek-V3模型上，99%的语言对在使用高频率输入时都获得了更好的翻译效果。其中，63个语言对的BLEU分数提升超过1分，31个语言对提升超过3分，12个语言对甚至提升超过5分。
特别值得注意的是，研究团队还发现了一个有趣的现象：当一个句子对的低频率版本能够被模型正确处理时，其高频率版本也同样能够被正确处理。但是，当低频率版本无法被正确处理时，使用高频率版本往往能够获得正确的结果。这说明高频率表达确实能够帮助模型更好地理解和处理信息。
四、构建专门的测试数据集
为了支撑这项研究，团队专门构建了一个名为"文本频率配对数据集"（TFPD）的测试集合。这个数据集的创建过程本身就是一项精密的工程。
研究团队首先从现有的标准数据集中选取了原始句子，包括GSM8K数学题库、FLORES-200多语言翻译数据库和CommonsenseQA常识问答数据库。然后，他们使用GPT-4o-mini模型来生成每个句子的多个改写版本。为了确保改写质量，他们制定了详细的指令模板："我的目标是将原始句子转换为常见表达和不常见表达两种形式。注意：不要省略任何词汇，如动词、形容词、名词或副词。你必须生成两种类型的句子：十个使用不常见、复杂词汇的句子，以及十个使用常见、简单词汇的句子。"
生成改写版本后，研究团队采用了严格的人工验证流程。他们聘请了三位具有英语语言学相关学位的经验丰富的标注员，对每组改写句子进行意义一致性检查。只有当所有三位标注员都认为句子表达相同意思时，这组句子才会被纳入最终的数据集。标注员需要从三个选项中选择："相同意义：我相信这三个句子表达相同的意思"，"可能相同意义：这三个句子可能表达相同意思，但我可能错误"，"不同意义：我确信这三个句子表达不同意思"。
经过这种严格的筛选过程，研究团队最终从1319个原始GSM8K测试样本中获得了738个高质量的句子对，从1012个FLORES-200样本中获得了526个句子对。这些数据集为后续的实验提供了可靠的基础。
五、深入的理论分析和数学证明
除了大量的实验验证，研究团队还提供了严格的数学理论分析。他们基于著名的齐普夫定律（Zipf's Law）构建了完整的理论框架，从数学角度解释为什么高频率文本能够获得更好的模型表现。
齐普夫定律是语言学中的一个重要规律，它描述了词汇频率的分布特征：在任何语言的大型文本集合中，第r个最常见词汇的出现频率大约是最常见词汇频率的1/r。研究团队将这个规律引入到语言模型的损失函数分析中，建立了"标记级别的半对数线性关系"。
简单来说，他们证明了模型在处理某个词汇时的"困惑度"（可以理解为模型的"困难程度"）与这个词汇的频率排名的对数值呈线性关系。这意味着，排名靠前的高频词汇会让模型感到更"容易"处理，而排名靠后的低频词汇则会增加模型的处理难度。
研究团队进一步将这个标记级别的结论扩展到句子级别。他们将句子级别的频率定义为组成句子的所有词汇频率的几何平均值，然后证明了在一定条件下，使用高频率词汇的句子确实会获得更低的模型损失值，从而带来更好的任务表现。
这个理论分析包含了四个核心假设：词汇频率遵循齐普夫定律，模型训练后的参数能够较好地逼近真实的词汇频率分布，边际概率和条件概率之间的差异是有界的，以及句子频率可以通过词汇频率的几何平均来近似。虽然这些假设在实际情况中可能不完全成立，但研究团队通过大量实验证明了理论预测与实际结果高度一致。
六、课程学习的新应用
研究中一个特别有趣的发现是课程式训练方法的效果。传统的课程学习通常按照任务难度从易到难安排学习顺序，而这项研究提出了按照文本频率从低到高的新型课程学习方式。
在机器翻译任务的微调实验中，研究团队比较了几种不同的训练策略。传统的方法是随机打乱训练数据的顺序，而新的课程式文本频率训练方法则按照句子频率分数对训练数据重新排序。实验结果显示，使用课程式训练的方法在所有测试语言上都获得了最好的效果。
以Pangasinan语（pag_Latn）翻译为例，使用原始训练数据的BLEU分数为4.5129，而使用高频率数据但没有课程训练的分数为3.7781，但采用课程式文本频率训练后，分数跃升至4.9102，提升幅度达到29.96%。这种显著的改进在多种评估指标和不同语言中都得到了验证。
研究团队解释说，这种训练方式的效果可能源于语言学习的自然规律。就像儿童在学习语言时会先掌握常见词汇，然后逐渐学会表达复杂概念一样，让AI模型按照这种顺序学习可能更符合语言习得的内在规律。
七、跨语言的普遍性验证
研究的另一个重要贡献是验证了文本频率定律的跨语言普遍性。研究团队的实验涵盖了100种不同的语言，包括高资源语言如英语、中文、西班牙语，也包括低资源语言如Kabuverdianu、Kikuyu、Pangasinan等。
根据语言资源的丰富程度分类，研究中超过一半的语言属于相对低资源的类别（0类或1类语言）。即使在这些训练数据相对稀少的语言上，文本频率定律依然显示出了显著的效果。这说明该定律并非仅仅适用于数据丰富的主流语言，而是一个更为普遍的语言学规律。
在具体的实验结果中，研究团队发现了一些有趣的模式。对于语法结构相对简单的语言，高频率文本的改进效果通常更为明显。而对于语法复杂、词汇变化丰富的语言，虽然改进幅度相对较小，但依然能够观察到统计学上显著的提升。
特别值得注意的是，研究团队还分析了不同语言中高频率和低频率文本在复杂度指标上的差异。他们使用了最大依存树深度、平均依存距离和Flesch-Kincaid等级水平等指标来衡量句子的语法和语义复杂度。结果显示，高频率文本通常具有较低的语法复杂度，这与人类语言使用的习惯是一致的：我们在日常交流中倾向于使用结构简单、易于理解的表达方式。
八、实际应用的巨大潜力
这项研究的价值远远超出了学术范畴，它为改进人工智能系统的实际表现提供了一条清晰可行的路径。在当前AI应用快速发展的背景下，这些发现具有直接的实用价值。
对于需要与AI系统交互的普通用户来说，了解文本频率定律意味着他们可以通过调整表达方式来获得更好的AI服务体验。比如，在使用AI助手进行数学计算时，说"帮我算这道题"比"请协助我进行数学运算"更容易获得准确的结果。在使用翻译软件时，使用简单常见的词汇比使用复杂生僻的表达更容易得到高质量的翻译。
对于AI系统的开发者和研究人员来说，这项研究提供了一个全新的优化思路。传统的模型改进通常需要增加模型参数、扩大训练数据或改进算法架构，这些方法往往需要大量的计算资源和时间投入。而文本频率定律提供了一种几乎零成本的改进方案：只需要在输入处理阶段增加一个文本改写模块，就能显著提升模型的表现。
研究团队还探索了将文本频率定律应用于模型训练过程的可能性。他们发现，使用高频率文本进行微调不仅能够提升模型在特定任务上的表现，还能够减少训练时间和计算成本。这对于资源有限的研究团队或初创公司来说具有重要的实用价值。
九、深度分析和关联研究
为了更全面地理解文本频率定律的机制，研究团队进行了多项深度分析。他们发现，模型对高频率文本的偏好与人类的语言处理模式存在惊人的相似性。神经科学研究表明，人类大脑在处理高频词汇时会激活不同的神经网络，这些词汇的处理速度更快、准确率更高。
研究团队还分析了思维链推理过程的变化。他们发现，当使用高频率文本作为输入时，AI模型生成的推理过程不仅更加准确，而且更容易被人类理解。在数学推理任务中，使用高频率表达的问题产生的推理链在chrF得分上从18.823提升到32.873，ROUGE分数从0.175提升到0.310，BERTScore从0.492提升到0.838。这些指标的全面提升表明，文本频率不仅影响最终答案的准确性，还影响整个推理过程的质量。
研究团队通过相关性分析发现了一个重要规律：在某些语言中，文本频率与最终翻译性能之间的相关系数高达1.0，这意味着几乎完全的正相关关系。这种强相关性进一步证实了文本频率定律的可靠性和普遍性。
另一个有趣的发现是，文本频率与传统的文本复杂度指标之间的相关性相对较弱。这说明文本频率定律不能简单地等同于"使用简单语言"的建议，而是一个更加精细和科学的指导原则。高频率文本不一定意味着内容简单，而是意味着使用了更常见、更容易被模型理解的词汇组合。
十、技术实现的细节和挑战
虽然文本频率定律的概念相对简单，但其技术实现涉及多个复杂的环节。首先是频率估算的准确性问题。由于大多数商业AI模型的训练数据都不公开，研究团队需要依靠公开的网络资源来估算词汇频率。他们使用了包括ParaCrawl在内的多个大规模爬虫数据库，并结合了Zipf频率分析工具来提高估算准确性。
文本频率蒸馏（TFD）方法的实现也面临着计算成本的挑战。让AI模型进行故事续写需要大量的API调用或计算资源，这在大规模应用中可能成为瓶颈。研究团队通过实验发现，随着用于蒸馏的数据量增加，性能改进效果也相应提升，但成本也在增加。他们建议在实际应用中根据具体需求在成本和效果之间找到平衡点。
输入改写器的设计是另一个技术挑战。改写过程需要确保语义的完全保持，同时有效提升文本频率。研究团队发现，自动改写可能引入语义偏移，因此在构建数据集时采用了人工验证的方式。对于实际应用，他们建议使用半自动化的方法，结合自动改写和人工审核来确保质量。
课程式训练的实现相对简单，主要是对训练数据进行重新排序，但需要预先计算所有训练样本的频率分数。对于大型数据集，这个预处理步骤可能需要相当的时间，但一旦完成就能够重复使用。
说到底，FaceMind公司和香港中文大学的这项研究揭示了一个既简单又深刻的道理：与AI交流时，使用常见词汇就像说话时使用清晰的发音一样重要。这个发现不仅为我们提供了立即可用的改进方法，还为未来的AI系统设计指明了新的方向。
研究团队通过大量实验证明，仅仅是调整词汇选择这样一个看似微小的改变，就能带来显著的性能提升。在数学推理中准确率提升8个百分点，在机器翻译中99%的语言对都获得改进，这些数字背后体现的是AI技术优化的巨大潜力。
更重要的是，这种优化方法几乎不需要额外的计算资源或复杂的技术改造，任何人都可以立即应用到与AI系统的日常交互中。这让我们看到了一种更加民主化的AI优化方式：不是只有技术专家才能改进AI系统，普通用户也能通过了解和应用这些规律来获得更好的AI服务体验。
当然，研究团队也诚实地指出了当前方法的局限性，比如频率估算的准确性、语义保持的挑战等。但正如任何科学发现一样，完美并不是第一步的要求，有效性和实用性才是最重要的标准。从这个角度来看，文本频率定律无疑已经达到了这个标准。
展望未来，这项研究可能会催生更多相关的探索，比如如何将频率信息更好地融入模型训练过程，如何开发更智能的自动改写工具，如何将这个理论扩展到多模态AI系统等。对于想要深入了解这项研究的读者，可以通过arXiv:2604.02176v1查询完整的研究论文。
Q&A
Q1：什么是Adam's Law文本频率定律？
A：Adam's Law是FaceMind公司提出的理论，发现当两个句子意思相同但用词不同时，使用更常见词汇的句子能让AI模型表现更好。就像人类读常见字词更快一样，AI处理高频率文本时准确率也会显著提升。
Q2：使用高频词汇能让AI提升多少准确率？
A：实验显示提升效果相当明显。在数学推理任务中，准确率能提升8-15个百分点，在机器翻译中99%的语言对都获得改进。比如DeepSeek-V3模型的数学题正确率从63.55%提升到71.54%。
Q3：普通人如何应用文本频率定律改善AI交互体验？
A：很简单，就是用更常见的词汇与AI对话。比如说"帮我算数学题"比"请协助我进行数学运算"效果更好，"银行怎么走"比"金融机构地理位置如何抵达"更容易被AI理解和准确回应。
