1. 项目概述：突破内存墙的MoE服务系统设计
在大型语言模型（LLM）推理领域，专家混合（Mixture of Experts, MoE）架构通过稀疏激活机制实现了模型容量与计算成本的解耦。典型如Mixtral 8×7B模型，其95%的参数集中在专家网络，但每次推理仅激活2个专家。这种特性使得MoE模型在保持千亿级参数量的同时，推理计算量仅相当于70亿参数的稠密模型。
然而，这种架构带来了独特的内存挑战：
- 容量压力：专家权重占模型总大小的95%以上，需要高密度存储方案
- 带宽瓶颈：动态专家激活模式导致难以预测的内存访问模式
- 延迟敏感：服务场景下需满足严格的Time to First Token（TTFT）指标
传统GPU+HBM方案面临根本性限制。以NVIDIA H100为例，其HBM3内存虽然提供3TB/s带宽，但：
- TSV（Through-Silicon Via）互连密度受限（10μm间距）
- 逻辑单元与存储单元的水平布局导致数据必须穿越整个内存堆栈
- 专家权重预取效率低下（因动态路由不可预测）
2. 核心技术：单芯片3D堆叠DRAM的创新应用
2.1 Mono3D DRAM的架构优势
相比传统HBM，我们采用的单芯片3D可堆叠DRAM（Monolithic 3D-Stackable DRAM）具有三项突破性特性：
垂直互连密度
| 参数 | HBM3 | Mono3D DRAM |
|---|---|---|
| 互连间距 | 10μm | 1μm |
| 互连密度 | 10^4/mm² | 10^6/mm² |
| 键合技术 | μBump | Cu-Cu混合键合 |
热力学特性
- 单层厚度仅500nm（HBM的1/10）
- 垂直热导率提升5倍
- 允许每平方毫米10W的NMP单元功耗
制造工艺采用类似3D NAND的逐层沉积技术，当前已实现：
- 1024层堆叠验证
- 每层独立字线（WL）控制
- 位线（BL）垂直贯通设计
2.2 分层内存架构设计
Mono3D DRAM的垂直堆叠导致访问延迟呈现明显层级差异（见图2）。我们实测显示：
- 顶层（Layer 1）：1.11ns tRCD
- 中间层（Layer 512）：8.50ns tRCD
- 底层（Layer 1024）：22.88ns tRCD
基于此，我们设计了动态内存分层策略：
class MemoryTiering: def __init__(self, total_layers=1024): self.tier_ratio = [0.2, 0.3, 0.5] # 快/中/慢层比例 self.tier_boundaries = [ int(total_layers * 0.2), int(total_layers * (0.2 + 0.3)) ] def assign_tier(self, expert_heat): if expert_heat > 0.7: # 热点专家 return random.randint(0, self.tier_boundaries[0]) elif expert_heat > 0.3: # 温点专家 return random.randint(self.tier_boundaries[0]+1, self.tier_boundaries[1]) else: # 冷点专家 return random.randint(self.tier_boundaries[1]+1, 1023)3. 系统硬件协同设计
3.1 话题感知的专家预测
通过分析LLaMA-4 Scout模型的专家激活模式，我们发现：
- 数学类请求90%集中在Expert 2/5
- 编程类请求85%命中Expert 1/7
- 人文类请求78%使用Expert 0/4
基于此构建轻量级话题分类器（<100K参数）：
struct TopicClassifier { uint8_t predict(const string& query) { // 使用TF-IDF提取关键词 auto keywords = extract_keywords(query); // 三层决策树分类 if (contains(keywords, {"积分", "方程"})) return TOPIC_MATH; if (contains(keywords, {"bug", "代码"})) return TOPIC_CODE; // ...其他分类规则 } };3.2 近内存处理单元设计
Stratum NMP处理器采用三级架构：
芯片级拓扑
- 16个处理单元（PU）环形互联
- 每个PU专享1个DRAM通道
- 双向带宽256GB/s/方向
处理单元微架构
graph TD PU[Processing Unit] --> PE[16个近库处理元素] PU --> SMEM[共享内存] PU --> SFE[特殊函数引擎] PU --> RTR[环形路由器] SFE -->|SIMD| VRF[向量寄存器文件] SFE -->|标量| SRF[标量寄存器文件] RTR --> AGGR[聚合器] RTR --> SW[交换机]关键创新点
- 可编程分层表（Tiering Table）
- 动态调整tRCD时序参数
- 支持专家权重在线迁移
- 行交换缓冲区
- 实现层间数据移动零拷贝
- 延迟降低83%（从120ns→20ns）
4. 专家计算优化策略
4.1 张量并行执行流程
对于单个专家的三层GeMM计算（见图8），我们采用独特的"纵向切分+横向合并"策略：
投影上阶段（GeMM1/2）
- 权重矩阵W1/W2按列切分
- 输入矩阵X1广播到所有PU
- 每PU计算局部Z1/Z2
激活阶段
- SiLU(Z1) ⊙ Z2本地执行
- 无需PU间通信
投影下阶段（GeMM3）
- 权重矩阵W3按行切分
- 通过reduce-scatter聚合结果
4.2 专家间负载均衡
为避免PU资源闲置，采用动态工作窃取（Work Stealing）机制：
def expert_scheduler(pus: list[PU], experts: list[Expert]): global_work_queue = experts.copy() while not all_done(pus): for pu in pus: if pu.idle() and global_work_queue: expert = global_work_queue.pop() pu.assign(expert) # 工作窃取阶段 for pu in pus: if pu.overloaded(): victim = find_least_loaded(pus) victim.steal_work(pu)5. 实测性能与能效分析
测试环境配置：
- Stratum-L原型机（6×Mono3D DRAM）
- 对比基线：NVIDIA H100 + HBM3
- 测试模型：LLaMA-4 Scout（16专家）
5.1 吞吐量对比
| 场景 | H100 (tokens/s) | Stratum (tokens/s) | 加速比 |
|---|---|---|---|
| 数学问题集 | 1,024 | 8,487 | 8.29× |
| 代码补全 | 1,156 | 7,892 | 6.83× |
| 多话题混合 | 1,087 | 6,543 | 6.02× |
5.2 能效提升
得益于近内存计算，能量消耗主要集中在：
- 数据移动：从HBM的35pJ/bit降至2.1pJ/bit
- 计算单元：保持28pJ/OP不变
整体能效对比：
数学场景：7.66× 提升（从 1.2TFLOPS/W → 9.2TFLOPS/W） 代码场景：6.91× 提升（从 1.4TFLOPS/W → 9.7TFLOPS/W）6. 实施经验与避坑指南
在实际部署中，我们总结了以下关键经验：
专家预热策略
- 启动时加载10%最高频专家
- 按需动态加载其余专家
- 空闲时预取可能专家（基于话题队列分析）
温度控制要点
- 每层DRAM设置独立温度传感器
- 动态频率调节规则：
if (temp > 85°C) throttle(20%); if (temp > 95°C) migrate_hot_experts();
调试技巧
- 使用RDMA over Fabric直接访问NMP内存
- 内置性能计数器可追踪：
- 专家命中率
- 层间迁移次数
- 温度分布
这个设计方案已经成功应用于多个千亿参数MoE模型的推理服务，实测在128并发请求下，P99延迟稳定在150ms以内。对于希望构建高效MoE服务的团队，建议优先验证话题分类器的准确性——我们的测试显示，当分类准确率低于70%时，整体性能优势将下降40%以上。
