MoE, Repeat Layer, MoR

一. 混合专家模型MoE

        混合专家模型（Mixture of Experts, MoE）是一种针对大语言模型（LLM）的高效架构设计：通过将 Transformer 中的全连接层（FFN）替换为多个独立的 “专家” 组件，结合路由器（Router）实现稀疏激活，在不显著增加计算 / 显存成本的前提下，大幅提升模型容量，同时兼顾训练效率与部署灵活性。

1. MoE 概述

MoE 的核心思路是用多个 “专家” 组件共同构成 LLM，每个专家专注于不同的信息处理方向，其核心特点包括：

• 训练与部署优势：训练时通过多个小模型组合成大模型，降低训练难度；部署时可灵活选择激活的专家数量（人工设置或 Router 自动选择），提升架构灵活性与模型表现力。
• 关键特性：
  1. 路由器（Router）针对输入输出概率分布，判定输入应分配给哪个专家处理；
  2. 专家并非仅存在于单层，可在模型中多层混合部署；
  3. 专家的定位是 “单词级别句法信息处理”，并非传统意义上的 “领域专家”。