清华大学与EvoMap团队的最新研究,呈现了一个完全反常识的结论,给模型提供两千五百个Token的详细纠错Skill,反而会导致基准测试通过率大幅下跌,换成两百多个Token的精简控制指令,却能实现性能的逆势飙升。
让智能体吸纳过往经验来提升任务表现,是当下前沿探索的热门方向。
人们往往直觉性地认为,给大语言模型喂入的经验手册越详尽、包含的上下文越丰富,模型在面对新任务时就越游刃有余。
清华大学与EvoMap团队的最新研究,呈现了一个完全反常识的结论,给模型提供两千五百个Token的详细纠错Skill,反而会导致基准测试通过率大幅下跌,换成两百多个Token的精简控制指令,却能实现性能的逆势飙升。
业界长期习惯将机器的过往犯错经历,打包成详尽的说明文档Skill,寄希望于模型能像人类一样阅读理解,并举一反三。
研究团队打破了这个惯性认知,提出将长篇大论的程序化Skill,转化为短小精悍的策略基因(Gene)。
通过4590次严格对照实验证实,面向机器推理的控制型经验载体,远比面向人类阅读的文档型载体,更适合驱动智能体的测试时演化。
经验重载的迷路
当前的大语言模型智能体,正朝着积累并复用经验的方向进化。
从文本反思、外部记忆到可执行Skill库,大多数研究默认有用的经验应当被完整地储存、检索和回放。
为了让经验更具可操作性,许多方法将经验组织成带有明确接口和适用条件的程序化单元。
人们理所当然地推断,越是完整和结构化的经验表示,越有利于后续的任务求解。
清华大学与EvoMap团队对上述假设发起了直接的挑战。
团队选取了涵盖45个复杂科学代码求解场景的基准库展开测试。
具体任务跨度极大,包括蛋白质解析、紫外可见光谱峰值检测、系外行星凌日分析、地震目录处理、气候归因等领域。
每次试验均在沙盒中执行生成的Python程序,并通过检查点机制评估准确度。
在紫外可见光谱分析任务中,模型需要读取数据、检测峰值、计算半峰全宽并输出结构化结果。
常见的错误往往不在于模型缺乏高阶任务理解能力,而是出自对底层代码库的不当调用。将最小距离参数错误地视作波长值而非样本索引,未将宽度计算结果转换回波长单位等,都是典型的执行偏差。
传统做法是将历史教训,整理成一份详尽的程序化Skill文档,包含任务概述、工作流描述、辅助参考资料等,篇幅通常在2500个Token左右。
该形态高度贴合人类的阅读习惯,便于存档和知识转移。
结果,实验对比数据打破了文档至上的神话。
上表展示了基础设定的测试结果,无指导的基线设定下平均通过率为51.0%。
当引入厚重的程序化Skill文档时,双模型平均通过率跌至49.9%,在Gemini 3.1 Pro Preview模型上更是从60.1%重挫至50.7%。
一味堆砌经验内容不仅无法转化为有效的测试时控制信号,反而会对高能力模型产生严重的干扰。
剥离冗杂的Skill包装
研究团队进一步将臃肿的程序化Skill文档拆解,试图找出真正起作用的控制信号。
详尽的文档中,到底有哪些内容真正对模型推理起到了正向引导作用。
拆解实验给出了残酷的答案。
程序化Skill文档内部的效用分布极度不均。
仅有工作流部分能够带来明确的正向收益,而诸如概述等描述性段落则表现出强烈的负面影响。
绝大部分文档内容,根本无法作为可执行的控制信号发挥作用,真正有价值的信号极其稀疏,且高度集中在极窄的操作指南切片中。
研究人员测试了同等预算下的表现差异。
将2500 Token的文档激进地裁剪至与策略基因相当的230个Token预算后,缩减版的片段表现确有回升,部分证实了此前性能低迷确实源于包装过载。
即便经过极限瘦身,缩减版Skill依然全面落后于策略基因。
程序化Skill的核心缺陷不在于缺失知识,而在于知识的呈现方式。长篇幅的文档确实包裹着有用的信息,但高价值的指令信号被海量的说明性文字严重稀释。
人类视角的详尽解说,在模型受限的推理预算和注意力分配机制下,彻底沦为沉重的认知负担。
策略基因的紧凑革命
为了探索真正适合模型的经验载体,研究团队引入了策略基因(Gene)与基因演化协议(GEP)。
策略基因是对过往经验的全新抽象,它摒弃了文档的完整性,将重心转向高密度的信号、清晰的适用边界和强烈的控制相关性。
典型的策略基因实例仅包含极简的匹配关键词、简短摘要、核心策略步骤以及明确的回避警告。
它舍弃了冗长的背景铺垫,直接向模型输出任务控制界面的关键参数。
如对照表所示,策略基因带来了截然不同的性能表现。230 Token的基因组将双模型平均通过率推升至54.0%,实现了3.0个百分点的绝对增长。
在Pro模型上保持59.9%的高位,同时将Gemini 3.1 Flash Lite Preview从41.8%大幅拉升至48.2%。
研究团队逐步剥离并重组策略基因的内部结构。
纯关键词变体拿到了53.5%的成绩,增加摘要后表现平平,直到补齐完整的策略步骤,性能才达到巅峰的54.0%。单纯缩减字数并非制胜关键,真正的飞跃发生在经验被凝练重组为行动策略的那一刻。
抗干扰测试揭示了策略基因的稳健性底色。
人为替换错误的算法或毫不相干的领域信息,会引发性能的雪崩,平均通过率瞬间跌落至48.8%和49.4%。
将策略优先级倒置或者添加过度限制的约束条件,对整体表现的破坏微乎其微,过度约束变体甚至逆势升至55.9%。
只要核心策略内容对齐了当前任务,字面结构的扭曲并不会摧毁其控制效力。
试图将基因重新扩展成Skill的尝试均以失败告终。强行附着额外案例或接口说明文档,非但无法互补,反而导致表现回落至52.0%和51.5%。
面向控制的精简对象一旦被文档化材料污染,其指令纯度便会遭到破坏。
多个基因片段的简单拼接同样无法实现线性增长。组合两个相冲突的基因仍能保持53.2%的及格线,凑齐两个互补的基因却让成绩直接垫底至44.9%。
在需要极高精度控制的科学场景中,多个看似互补的控制对象会相互争夺注意力,最终导致控制焦点的彻底模糊。
随心所欲的Skill袋堆叠法在严苛的科学评测中宣告破产。
面向测试时演化的载体
单次推理验证了策略基因的威力。研究团队将视线推向了更长周期的经验累积机制。
智能体在不断交互中必然会产生大量犯错记录,如何有效地挂载并消化失败履历,成为测试载体承载力的试金石。
对照数据给出了明确的指引。
将失败历史强行塞入自由格式文本中,平均成绩仅为49.6%。挂载到程序化Skill文档则引发了灾难性倒退,降至47.8%。
策略基因展现出了极强的包容性,以52.0%的成绩遥遥领先。载体格式的基因优势被再次确立。
格式的规整程度直接决定了经验的转化效率。
将高度结构化的基因打散为平铺直叙的散文后,其优势几乎荡然无存,平均成绩滑落至50.5%。规范的结构化协议,是维持控制效力的关键。
简单粗暴地拼接新旧经验并不可取。
将失败记录原封不动地附加在策略基因之后,虽然跑赢了其他载体,但仍比纯净版基因落后2.0个百分点。
提炼失败教训的最佳姿势是将其压缩为简练独立的警告信号。
纯粹的失败警告设定取得了54.4%的最佳战绩,一举击败了策略优先或失败优先的混合打包方案。
经验的累积应当时刻保持克制,精准压缩永远优于无脑扩容。
为了验证策略基因作为持续演化底座的潜力,研究团队在CritPt基准上部署了由OpenClaw运行环境与Evolver演化引擎驱动的基因演化系统。
系统围绕结构化的基因展开自我演化,通过记忆整合历史因果经验,并借助严格的验证机制固化成功更新。
演化结果呈现出令人惊叹的爆发力。
2026年2月版的早期演化体,通过高度死磕错误诊断、影响半径评估与最小可逆补丁的闭环,将Pro模型的准确率从9.1%拉升至18.57%。它成功将一次性的试错内化为可无限复用的修复流水线。
一个月后迭代出的演化体进一步展现了探索增强的统治力。
在70个复杂任务中,系统调用了210个基因槽位。在哈密顿逆向设计任务中,高频启用的核心基因抛弃了笼统的提示,直接罗列出对易、归一化与算符排序等刚性约束,在维持索引一致性的前提下将多体链问题完美降解,最后通过严苛的符号与数值校验保障数值稳定性。
此类从成功履历中榨取出的硬核步骤被反复重用,一举斩获27.14%的超高准确率,彻底超越了基线水平。
从冗长的人类Skill到冷峻精简的策略基因,AI吸纳经验应该化繁为简,方能释放真正的演化潜能。