本文详解Mixture of Experts (MoE)架构，介绍如何从Dense模型升级到MoE、MoE指令微调技巧及专家合并技术。实验表明，MoE能大幅增加参数量而不显著提高推理成本，经大规模指令微调后可超越参数量更大的Dense模型，为构建高效大模型提供了新思路。
背景知识
关于基础部分，推荐阅读：Verlocksss：Mixture of Experts（MoE）学习笔记 或 MoE(Mixture-of-Experts)大模型架构的优势是什么？为什么？(https://zhuanlan.zhihu.com/p/675216281)，稍微概括如下：
23 年 12 月 Mixtral 发布的 7B x 8 的 MoE 模型在多项指标超越 Llama2，而且它推理计算量只相当于 13B 模型，MoE 架构的优势是可以快速堆参数量但是不显著增加推理成本。据说 GPT4 是 8 个 GPT3 级别的模型组成一个 220B x 8 的 MoE 模型。最近的 DeepSeekMoE 145B，只需要 28.5% 的计算量匹配 67B dense 的性能。
MoE 类似于将 Ensemble 方法（多个的推理结果）的平均改成加权平均，Ensemble 可以结合不同的权重，不同结构，甚至不同方法的结果。13 年 12 月 Ilya 团队在神经网络上做了 Deep MoE，每一层有多个权重矩阵，通过一个独立的分配网络来给出平均的加权，训练过程中约束单个权重被选中的概率不要过高。这篇做的模型参数量还比较小，而且推理时所有专家都要参与。
17 年 1 月，Hinton 团队在机器翻译上做了 MoE 大模型（137B），在 Deep MoE 基础上，把 LSTM 中的线性层做 MoE 扩展，而且每层权重由门控网络分配给权重最高的 k=4 个专家。门控网络通常是一个带有 softmax 函数的简单的网络，它学习将输入发送给哪个 expert。训练时可以加 noise 为分配提供随机性，还通过 importance loss 和 load loss 来给不同专家平均分配 logits 和训练样本数。因为实验发现分配机制具有马太效应，某些专家可能一直分配不到训练 token。
21 年 1 月，Google Brain 的 William Fedus（现在在 OpenAI）将 T5 模型中的 FFN（transformer 中的某全连接层）做 MoE 扩展，提出 Switch Transformer，特点是每个 token 只分配一个专家。以上两篇 paper 还着手解决一些工程问题，因为我们希望集群利用率。Barret Zopn（Google Brain -> OpenAI）的 ST-MoE 提出 z-loss，要求路由的 logits 在绝对值上尽可能地小，还用了一些 trick 来提高训练稳定性（防止 loss 炸飞）和泛化性，给出了很多实践调试经验。Expert Choice Routing （谷歌）发表于 2022 年的 NeurIPS，提出让每个专家来选 k 个 token，这样的好处主要是负载均衡，收敛速度快，但这种做法需要足够大的 batchsize。
Switch Transformer 展示了用 MoE 方法堆参数量可以达到更低的测试损失和更高效的预训练
以下讨论的 MoE，指 Sparse Activated MoE，和推荐系统的术语有所区别。
一般认为 MoE 的优点是多任务学习能力强（可能脑容量大），相同参数推理成本低
缺点是模型复杂性提高，稳定训练的工艺更复杂，训练需要额外通信，而且下游任务微调手感和 dense 模型会有差异
从 Dense 升级到 MoE
ICLR23 - Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints
从头训一个 MoE 可能有更多的工程问题（冷启动问题），比如 warmup 的时候超参数要手工调整，最麻烦的是训的好不好不能很快知道
拿一个 dense 模型的参数来做初始化可以白嫖：
把 MLP 扩展 E 份参数组在一起加上 Router，和之前讨论的 transformer MoE 是一个做法，不同之处是每份参数是从训练好的 dense 模型中复制来的
技术选择：
- Expert Choice 路由（容量为 2，即每个专家选两个 token）在 NLP 模型效果好，Top-K 路由则在视觉模型效果好。
- 在 NLP 任务中，专家越多越好，而视觉任务中存在饱和点。
- 增加 MoE 层数也可以增加模型容量，但视觉任务中同样存在饱和点。
- 恢复优化器状态（一些统计量）和路由权重归一化可以提高视觉 MoE 模型的性能，对 NLP 任务无效。
对于视觉任务，作者使用了 JFT300M 数据集进行预训练，并使用 ImageNet 数据集进行微调。对于 NLP 任务，作者使用了 C4 数据集进行预训练，并使用 SuperGLUE 数据集进行微调。
对于额外的预训练或者微调（微调的图没贴在这，差不多意思），Upcycled MoE 模型比 Dense 模型更有性价比！
用 Upcycled MoE，比起随机初始化好得很，从头训 MoE 模型需要相当大的算力才能抹平起始差距：在 NLP C4 数据集的预训练上，用了 120% 的 dense 模型预训练算力才让随机初始化的 MoE 模型追上来。
这里对比的是 Sparse upcycling（从 dense 模型变成 MoE）和 dense upcycling（给原来 dense 模型加层），前者的效果更好
消融实验
视觉任务：以不同水平的 dense 模型作为起点，Upcycling 有类似的提升幅度
还有一些有意义的失败尝试：比如直觉上我们在初始化每个专家的时候，可以加一些 noise 使得它们的初值不太一样，但是作者发现这样做没有任何收益。还有改变模型的学习率、为路由 softmax 增加改变温度，探索路由的不同初始化方法等，都没有明显提升。
MoE 多少层也是一个可以调优的点，改造的层太多会降低模型训练推理速度，导致性价比下降。实验发现把最浅层转成 MoE 会有训练问题，把 12 层网络的后 6 层转成 MoE 比较好。
MoE 指令微调
ICLR24 - Mixture-of-Experts Meets Instruction Tuning: A Winning Combination for Large Language Models
这篇论文发现，没有大规模指令微调时，MoE 在下游任务的效果不如一般 dense 模型，而经过 FLAN 的大规模指令微调后，MoE 模型很强（不管是 few-shot 还是 zero-shot）
这篇论文的训练集是 FLAN，FLAN 包含 1800 个指令微调任务，Google 把它们微调进一个 T5 模型里，参考阅读：nghuyong：Flan-T5: One Model for ALL Tasks，测试集是 MMLU，BBH，Reasoning 和 QA
本文的 FLAN-ST32B（MoE） 超过了 PlaM 62B（后者是前者三倍推理开销），发现 Plam 62B 在指令微调前后的准确率是 51% -> 57.6%，而 ST32B 从 18.4% 提升到 63.6%
在指令微调时，MoE 会受益更多，专家数量加到 32 以后，模型的整体能力会下降：从下图上看，作者说单项任务可能在专家多到一定数量后饱和。但是这个图特别怪，左边蓝色橙色的图例不见了（我看 review 也有审稿人问），而且 BBH 也还没见到饱和。（所以我不太确定这一段的结论）
在训练时的路由策略上，FLAN-Switch（每个 token 分给一个专家）< FLAN-GS（每个 token 分给俩专家）< FLAN-EC（每个专家选两个 token）。不过 ST-MoE 论文说用更先进的辅助 loss 能让 -GS 和 -EC 差不多，为了做个大实验，作者选了 ST32B。这一点从 paper 上看很奇怪，因为 ST32B 起始点很低，但是从 rebuttal 看，他们没有算力从头训一个 32B-MoE，只能这么选了。
在微调时 balance-loss 适用 FLAN-EC 而 Z-loss 适用 FLAN-ST，推测说明微调时的约束要和预训练接近比较好。微调时冻结门控会稍微提升性能，再冻结其它部分参数则不好。
当只有一个下游任务时，以 FLAN-MoE 为起点比预训练 MoE 起点显著好，说明大规模的指令微调的重要性。
随着 MoE 模型变大，专家的专业化程度提升（我的理解是对于一类数据，激活的专家数会更少），但是没说指标具体怎么算的（rebuttal 作者说在之后版本补充，不知道打算什么时候更新出来）
FLAN-MoE 在英语以外的语言表现不好，可能说明在预训练和微调时需要纳入更多其他语言的数据。
MoE 合并
XFT: Unlocking the Power of Code Instruction Tuning by Simply Merging Upcycled Mixture-of-Experts
论文先说 Sparse Upcycling（Dense->MoE）有两个缺点：1. 要比较大的算力才能看到相对 Dense 模型的提升 2. 推理开销会增加。而这篇论文做了一个新的训练框架：
在微调阶段后，借鉴 Model Soup，把多个专家的参数进行合并
Upcycling相比于 dense 模型来说，在微调阶段每个专家分到的数据会变少，采用类似 Deepseek 的方案，固定选择一个专家（共享专家），而且注意在整个 MoE 扩展过程中，要让输出的数值尺度和原来对齐。每一层总共有八个专家，训练的时候对于每个 token 激活其中六个。（这里我感觉有点奇怪，如果随机 dropout，最后合并会怎么样？）
Merging在训练过程中，为每个专家设置一个可学习参数，最后把各个专家的网络权重进行参数加权合并，这里的工艺是把共享专家的权重定为 0.75，其它专家的参数和为 0.25。论文发现如果不做这样的设定，在训练过程中共享专家的权重会不断上升。
实验结果 XFT 比 MoE 略好，而且只要 1/8 的参数量。
如果没有共享专家，或者为共享专家设置的权重太小，都会让模型性能下降
这两个图一个是说提出的方法对于不同的基座都是适用的，另一个是因为 XFT 引入了额外训练开销，所以在相似训练开销下和 SFT 进行对比
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
为什么要学习大模型？
我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。
大模型入门到实战全套学习大礼包
1、大模型系统化学习路线
作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！
2、大模型学习书籍&文档
学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。
3、AI大模型最新行业报告
2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
4、大模型项目实战&配套源码
学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。
5、大模型大厂面试真题
面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
适用人群
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
