news 2026/3/10 23:25:18

给大模型做“微创手术”:只动 1.59% 的脑回路,数学却更清醒了

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
给大模型做“微创手术”:只动 1.59% 的脑回路,数学却更清醒了

在大语言模型(LLM)的世界里,最令人抓狂的失败往往不是“不会”,而是“明明会,却走神”。一道小学应用题,模型能把人数算对、减法写对,却在关键一步突然把“有 6 个男生缺席”读成“没说男生缺席”,然后一本正经地给出错误答案——仿佛一个聪明的学生在考场上被窗外的鸟叫拐跑了注意力。

论文《Constructive Circuit Amplification: Improving Math Reasoning in LLMs via Targeted Sub-Network Updates》(Prakash 等,2025)要做的事情,听起来像科幻外科:不对整台模型做大规模“再训练”,而是先找出它推理时“第一次跑偏”的那个词,再定位出是哪些注意力头和 MLP 神经元在“把它往正确路上推”,最后只更新这极小一撮组件(最低只占 0.17%,最高也就 1.59%),就能让数学推理准确率提升最高 +11.4%,而且对 MMLU、TriviaQA、TruthfulQA 等通用能力影响很小。

本文精读将严格围绕你指定的重点:DCM 掩码(Desiderata-based Component Masking)稀疏更新(targeted sub-network updates),把它讲清楚:它到底怎么找“该动哪几根神经”,为什么只动一点点会有效,实验结果说明了什么,以及它的边界在哪里。


🧭 一、为什么“只动一点点”可能比“全身按摩”更有效?

论文建立在两条来自机制可解释性(mechanistic interpretability)的经验事实上

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/11 6:00:40

YOLO模型参数量太大?教你如何选择合适版本

YOLO模型参数量太大?教你如何选择合适版本 在智能摄像头、工业质检线甚至无人机上,你可能都见过这样的场景:设备需要“看清”眼前的世界——识别行人、检测缺陷、追踪目标。而背后支撑这一切的,往往是一个叫 YOLO 的模型。它像一位…

作者头像 李华
网站建设 2026/3/10 20:43:56

5.1 滑模控制(SMC)及其改进

5.1 滑模控制(SMC)及其改进 滑模控制(Sliding Mode Control, SMC),又称变结构控制,是一种因其对参数摄动和外部干扰具有强鲁棒性而备受关注的非线性控制策略。自20世纪下半叶理论体系初步建立以来,SMC在电机驱动、机器人、航空航天等对可靠性与动态性能要求苛刻的领域得…

作者头像 李华
网站建设 2026/3/10 23:40:38

springboot_ssm音乐播放在线试听网站

目录具体实现截图系统所用技术介绍写作提纲核心代码部分展示系统性能结论源码文档获取/同行可拿货,招校园代理 :文章底部获取博主联系方式!具体实现截图 springboot_ssm音乐播放在线试听网站 系统所用技术介绍 本系统采取了一系列的设计原则&#…

作者头像 李华
网站建设 2026/3/9 18:49:19

YOLO在停车场车牌识别系统中的集成方案

YOLO在停车场车牌识别系统中的集成方案系统挑战:当智能停车遇上真实世界 在城市出入口、商业综合体地下车库或高速公路服务区,每天都有成千上万辆车进出。如何让道闸“一眼认出”车牌并自动放行?这看似简单的动作背后,藏着不少技术…

作者头像 李华
网站建设 2026/3/10 21:28:26

继续教育必备8个降AI率工具,高效降aigc推荐!

继续教育必备8个降AI率工具,高效降aigc推荐! AI降重工具:让论文更自然,让学术更专业 在继续教育的学习过程中,论文写作是不可避免的重要环节。然而,随着人工智能技术的广泛应用,越来越多的学生开…

作者头像 李华
网站建设 2026/3/9 6:18:44

2025继续教育必备8个降AI率工具测评

2025继续教育必备8个降AI率工具测评 2025继续教育必备8个降AI率工具测评 在人工智能技术日益普及的今天,学术论文、研究报告等文字内容的AI生成率检测已成为继续教育领域不可忽视的问题。随着各大平台对AIGC内容识别能力的不断提升,传统的“换词降重”方…

作者头像 李华