上海交大团队:迈向超长程自主智能体科学
缺乏超长程自主性,即无法在跨越数日、甚至数周的实验周期中持续保持战略一致性并不断迭代修正,阻碍了智能体(Agent)从被动辅助向自主驱动科学前沿发现的跨越。
为克服这一瓶颈,上海交通大学人工智能学院团队及其合作者,基于“认知累积”(Cognitive Accumulation)概念框架和“分层认知缓存”(Hierarchical Cognitive Caching)架构,推出了一个精通超长程机器学习工程的自主智能体ML-Master 2.0(图3)。
据介绍,ML-Master 2.0在以24小时预算进行MLE-Bench评估时,获得。(图2图5)
注:MLE-Bench是一个由OpenAI推出的、包含75个真实Kaggle机器学习竞赛的基准测试,要求智能体通过长期试错和跨迭代经验积累来探索巨大的非结构化搜索空间,无法依靠单步操作的正确性实现目标。
研究团队表示,该研究从实证角度验证了结构化的认知积累是自主智能体掌握现实世界科学研究中长程试错循环过程的关键推动因素。
1.“认知累积”概念框架
研究团队认为,超长程自主性是一个提炼(refinement)、稳定(stabilization)和重用(reuse)的演进过程,而非单纯的过往历史上下文线性聚合。
从认知角度来看,智能体会产生大量原始经验,但只有一小部分在经过反复验证后会被提炼为可重用的知识,当它们被进一步抽象并在不同任务间保持稳定时,便形成了更高层次的智慧。因此,认知积累依赖于上下文随时间的结构化区分,仅仅保留更多上下文并无益处。短期经验支持即时决策,相对稳定的知识在长时间探索中保持战略一致性,进一步抽象整合的智慧则实现了跨任务的迁移和重用。
2.“分层认知缓存”架构
基于认知累积理论,ML-Master 2.0引入了“分层认知缓存”架构作为长期上下文管理系统。该架构受计算机系统中多级缓存层次结构的启发,旨在明确区分瞬时处理过程与稳定状态。
“分层认知缓存”架构由两个互补组件构成的协调式设计,包括:
分层缓存:提供一个结构化架构,根据时间稳定性和重用价值将上下文划分为多个层级;
上下文迁移:决定如何在探索过程中动态地将信息在这些层级间进行提升、整合或淘汰。
二者协同作用,使得变化迅速且高效用上下文能够贴近当前的推理过程,同时将更稳定、可重用的知识逐步迁移为更持久的表征,从而实现持续且高效的长程探索。
更多细节,请查看原论文。
整理:珏子