简介
本文整理了大模型训练中关键参数KL系数的设置值，涵盖OpenAI(0.01-0.02)、DPO(β=0.1/0.5)、DeepSeek(0.04)和Qwen(0.001)等主流论文中的推荐值。强调没有"万能"数值，需根据任务调整，过大抑制收益，过小导致模型退化。不同方法对KL处理方式不同(显式或隐式)，复现实验时应优先采用论文配套的超参组合。
有几篇论文，可能在文章中提及到了相关参数的设置，这这里罗列一下
- OpenAI —InstructGPT / PPO-RLHF (Ouyang et al., 2022)
- 典型 / 推荐值（论文实测结论）：KL reward coefficient ≈ 0.01–0.02（最优区间）。论文还展示了在 1e-4…1 范围的 sweep，并指出太大（比如 2.0）会造成验证回报下降且不能修正某些回归问题。
- DPO —Direct Preference Optimization (DPO) (Sanh et al./先行工作 2023 arXiv)
- 在论文实现细节（Appendix B）里给出的默认/实践值：β = 0.1（默认）；对 TL;DR summarization 实验使用β = 0.5。论文同时强调 β 控制 KL 强度，去掉或设置不当会导致模型退化（Appendix 有代码片段与说明）。
- 说明：DPO 将 β 直接作为温度/权重放进其对数比重（implicit reward），因此 β 即为隐式的 KL 强度控制量。
- DeepSeek / GRPO —DeepSeekMath (Shao et al., 2024) / DeepSeek-R1 (DeepSeek 团队)
- DeepSeekMath（提出/应用 GRPO 的技术报告）在 RL 实验部分明确写到：GRPO 的 KL coefficient = 0.04（在 DeepSeekMath 的 RL 实验设定中）。论文还说明 GRPO 把 KL 直接加到 loss 里（而不是放到 reward 的一部分），并使用无偏估计器计算 KL。
- DeepSeek-R1 的后续报告中（DeepSeek-R1 / tech report）在不同阶段对 KL 也有设置（有些公开材 料在不同阶段提到更小的数值 例如 0.001 作为部分实验设定），但最直接可查的 GRPO 原始 / 实验超参是 DeepSeekMath 文档的0.04。
- 出处（DeepSeekMath 文本段落明确给出 KL = 0.04；DeepSeek-R1 中也有训练细节但数值会随着阶段/配置不同）。
- Qwen 系列（Qwen2.5-Math 等，阿里 / Qwen 团队技术报告）
- 在 Qwen2.5-Math 的技术报告中，post-training / RL 段落明确写到“KL coefficient for all training is 1×10⁻³（= 0.001）”（用于其 GRPO/RL 阶段的超参）。文档同时描述了使用 GRPO 与 reward-shaping 的具体实现细节。
- 备注：技术报告里会把该 KL coefficient 与采样组大小、batch 等其他超参一起给出（可在 Post-training / Implementations 段落查到）。
- 出处（Qwen2.5-Math technical report）。
总结下
- OpenAI (InstructGPT / PPO-RLHF)：≈ 0.01–0.02（论文给出最优区间）。
- DPO (paper impl.)：默认 β = 0.1；TL;DR 实验 β = 0.5（见 Appendix）。
- DeepSeek (DeepSeekMath / GRPO)：KL = 0.04（DeepSeekMath 实验设定）；DeepSeek-R1 在某些训练阶段/配置也报告过不同值（例如在若干公开说明中见 0.001），需看具体阶段配置。(arXiv[1])
- Qwen2.5-Math：KL = 0.001（1e-3）（技术报告中明确写明）。(arXiv[2])
此外
- 没有“万能”数值：各论文反复强调要 tune KL（β）——太小会允许模型偏离 reference 导致灾难性退化或失控（overoptimization），太大会抑制收益 / 导致训练回报下降或无法改善目标指标。各团队均做了 sweep 和 trade-off 分析并报告曲线。
- DPO/某些方法把 KL 隐式包含在目标 parameterization 中（例如 DPO 的 β 在 loss/对数比中即是隐式的 KL 强度，而 GRPO 通常把 KL 显式加在 loss 上）。如果你要复现实验，优先直接复制论文里的 β/coeff 与其它配套超参（batch/G/采样数/learning rate），因为这些是耦合的。
如何学习AI大模型？
如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！
这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！
第一阶段：从大模型系统设计入手，讲解大模型的主要方法；
第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案
大模型全套视频教程
200本大模型PDF书籍
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
LLM面试题合集
大模型产品经理资源合集
大模型项目实战合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
