2025_NIPS_ATMOSSCI-BENCH: Evaluating the Recent Advances of Large Language Models for Atmospheric

文章核心总结与创新点

主要内容

文章提出ATMOSSCI-BENCH基准，用于系统评估大型语言模型（LLMs）在大气科学领域的推理与问题解决能力。该基准涵盖水文、大气动力学、大气物理学、地球物理学、物理海洋学五大核心领域，采用选择题（MCQs）和开放题（OEQs）双格式设计，通过模板化生成技术保证题目多样性与科学性，并对四类代表性LLMs（指令微调模型、推理优化模型、数学增强模型、领域专用气候模型）开展全面评估，揭示了各类模型在大气科学任务中的性能差异与关键特性。

创新点

1. 首个针对大气科学的综合基准：填补现有基准在跨学科、复杂数据整合、物理模型选择等领域的空白，覆盖五大核心学科，兼顾规模化自动评估与深度推理探测。
2. 双格式题目设计与生成框架：MCQs基于符号模板生成，支持可控扰动与自动化评分；OEQs侧重深度推理，搭配数量评估器、表达式评估器、LLM评估器的级联评估方案，确保评估准确性与全面性。
3. 多维度LLM评估与关键发现：首次系统对比四类LLMs在大气科学任务的表现，发现推理模型性能最优、推理token长度存在最优阈值、模型对符号扰动敏感等关键结论，为领域内LLM应用提供指导。

英文原文与中文翻译（Markdown格式）