全开源20亿参数大模型，揭秘清华团队如何突破资源限制训练LLM-洪萨配资

清华大学和深圳鹏城实验室团队推出Kaiyuan-2B开源大模型，包含模型权重、训练数据、代码和完整训练配方。研究团队提出三项创新：分位数数据基准测试、策略性选择重复和多领域课程训练，有效解决异构数据和计算资源有限两大挑战。模型在中文、数学和代码能力方面表现突出，在全开源模型中达到前沿水平，为学术界和开源社区提供了可复现的参考。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

大语言模型（LLM）领域发展迅速，但一个现实问题是：开源社区与工业界之间存在显著的知识鸿沟。工业界往往依赖闭源的高质量数据和训练配方，而学术界和开源社区则面临资源有限的困境。今天要介绍的这篇技术报告，来自清华大学和深圳鹏城实验室的团队，他们推出了一个完全开源的20亿参数模型——Kaiyuan-2B（开元-2B），不仅开源了模型权重，还公开了训练数据、代码和完整的训练配方。

Kaiyuan（开元）这个名字取自中文，模型的核心目标是在资源受限的情况下，提升训练效率和效果。研究团队提出了三项关键创新：分位数数据基准测试（Quantile Data Benchmarking）、策略性选择重复（Strategic Selective Repetition）和多领域课程训练（Multi-Domain Curriculum Training）。通过这些方法，Kaiyuan-2B在全开源模型中达到了前沿水平，在中文、数学和代码能力方面表现尤为突出。

论文标题：PCMind-2.1-Kaiyuan-2B Technical Report
论文地址: https://arxiv.org/abs/2512.07612
模型下载: https://huggingface.co/thu-pacman/PCMind-2.1-Kaiyuan-2B
作者: Kairong Luo, Zhenbo Sun, Xinyu Shi, Shengqi Chen, Bowen Yu, Yunyi Chen, Chenyi Dang, Hengtao Tao, Hui Wang, Fangming Liu, Kaifeng Lyu, Wenguang Chen
单位: 清华大学、深圳鹏城实验室、北京厚笃科技有限公司

为什么需要"完全开源"的大模型？

当前LLM领域存在两种主流的开放模式：一是完全闭源的模型（如GPT-4），二是开放权重但闭源训练配方的模型（如DeepSeek、Qwen系列）。后者虽然开放了模型权重，但训练数据和详细的训练过程仍然保密。这种"半开放"模式导致学术界难以深入探索大规模预训练背后的科学和工程原理。

完全开源模型，指的是同时公开模型权重、训练数据集和详细训练流程的模型。这类模型的代表作品包括OLMo系列、SmolLM系列和Yulan系列。它们对于弥合知识鸿沟、促进学术探索至关重要。

然而，完全开源预训练面临两大核心挑战：

异构开源数据：虽然有大量预训练规模的开源数据集可用，但它们来源和预处理管线差异巨大，如何有效比较、选择和混合这些数据集是一个难题。
计算资源有限：学术界通常无法负担工业界动辄数十万亿token的训练规模，需要新的策略来提升有限资源下的训练效率。

Kaiyuan-2B正是针对这两个问题，提出了实用的解决方案。

分位数数据基准测试：系统化评估数据集质量

面对众多开源数据集，如何判断哪个数据集更好？如何确定最优的数据混合比例？传统的方法是进行top-k过滤，只保留质量评分最高的数据。但这种方法有局限性：它只能反映某个阈值以上数据的平均质量，而无法揭示数据集内部的质量分布特征。

研究团队提出了分位数数据基准测试（Quantile Data Benchmarking）方法。其核心思想是：根据数据集的质量评分，选取不同分位数（如0%、20%、40%、60%、80%）附近的数据块，分别训练小规模参考模型，然后在下游任务上评估这些模型的表现。

这种方法的优势在于：

成本可控：对于一个609B token的数据集（如DCLM-Baseline），每次分位数测试只消耗约8.4B token，总共42B token，仅占原数据集的6.9%。使用0.6B参数的参考模型，计算成本约为全部训练的2%。
粒度更细：相比top-k过滤，分位数方法能更精细地揭示数据集在不同质量区间的特征。

通过对DCLM-Baseline和FineWeb-Edu两个主流英文数据集的分位数测试，研究团队发现了一些有价值的结论：

任务依赖性：FineWeb-Edu在知识密集型任务（如MMLU）上表现更好，而DCLM-Baseline在常识推理任务（如WinoGrande）上更优。这说明不同数据集适合不同的能力培养。
数据集内部异质性：即使在同一个数据集内，不同质量分位数的数据在下游任务上表现差异可达2%的绝对准确率。
非单调关系：质量评分更高的数据并不总是带来更好的性能。在某些任务上，提高质量评分反而会导致性能下降，这对当前通用的质量过滤策略提出了质疑。

这些发现直接指导了后续的数据混合策略。例如，研究团队发现整个FineWeb-Edu数据集的MMLU性能大致相当于DCLM-Baseline的top-30%分位，因此在Phase 2阶段使用了完整的FineWeb-Edu，但只保留DCLM-Baseline的top-33.4%部分。

策略性选择重复：高效利用稀缺的高质量数据

分位数测试证实了高质量数据的稀缺性和高价值。如何在不过度消耗资源的情况下充分利用这些数据？

研究团队采用了五阶段训练范式，在多个阶段之间实施策略性选择重复：

在单个阶段内，每个数据样本通常只出现一次。
高质量数据样本可能在多个阶段中重复出现。
后续阶段逐步降低保留比例（top-k ratio），只保留质量更高的部分。

以FineWeb-Edu为例：Phase 2使用完整数据集，Phase 3只保留top-50%，Phase 4保留top-30%，Phase 5仅保留top-10%。这意味着最高质量的10%数据实际上被训练了4次，而平均质量的数据只被训练1次。

这种设计的思路是：适度重复高质量数据能够带来比单次训练更好的效率，但重复次数不能过多，否则会出现过拟合。研究团队通过小规模实验验证了这一点：在1.5B模型上训练30B token，保留33.4%的top-k数据并重复2次，比保留77.4%数据更能提升核心指标（MMLU、ARC、CSQA）的表现。