【大模型算法面试复盘】2025大模型工程师面试宝典：从基础到实战，一文掌握腾讯混元面试全攻略！-洪萨配资

简介

本文详细分享了腾讯混元大模型算法校招面试经验，涵盖大模型训练流程、SFT/RLHF技术、MoE架构、反向传播、LoRA微调方法、ZeRO优化模式等核心技术点。文章强调大模型学习需理论与实践并重，建议读者多动手实现、复现论文并关注开源动态。文末提供知识星球资源，助力AI学习者系统掌握大模型技术栈。

刚结束腾讯混元大模型算法的校招面试，整体体验下来，感触很深。和面试官聊了很多实际落地的、前沿的东西，也让自己对大模型训练、微调、对齐这一整个技术栈有了更系统的认识。下面把整个面试过程梳理一下，也算是对这段时间学习的复盘，希望能帮到也在准备大模型方向面试的同学。

一面回顾（部分问题展开讲）

1. 项目、实习、论文

这一部分算是常规开场，面试官会针对你的经历展开提问。比如我之前做的一个多模态理解的项目，他会问我数据是怎么构造的，训练时有没有遇到过分布漂移，我尝试用 MoE 结构是不是因为显存限制等等。这里给我的启发是：不仅要讲清楚你做了什么，还要讲清楚为什么这么做，以及有没有更优的选择。

2. 大模型训练与推理流程 & SFT / RLHF

我简单画了个流程图，从预训练 → SFT → RLHF → 部署推理。SFT（有监督微调）主要是让模型学会“听懂人话”，RLHF（人类反馈强化学习）则是让模型输出更符合人类价值观、更安全、更有用。面试官追问了一个很实际的问题：“如果只做 SFT 不做 RLHF，会有什么问题？” 我说可能会输出政治不正确或者胡说八道的内容，RLHF 相当于给模型上了一道“安全护栏”。

3. MoE 架构的好处

我提到我们尝试用 MoE（Mixture of Experts）主要是为了在不显著增加计算量的情况下扩展模型容量。MoE 相比 Dense 模型最大的优势是稀疏激活，也就是每次只激活部分专家，既保留了模型表达力，又控制了训练和推理成本。

4. 反向传播推导

这里我手推了一个简单的两层全连接网络的反向传播，重点讲了链式法则和梯度如何从输出层传递到输入层。面试官提醒我注意矩阵求导时的维度对齐，这个小细节其实在实际实现中很重要。

5. RLHF 的主流算法与损失函数

我提到了 PPO（Proximal Policy Optimization）和 DPO（Direct Preference Optimization），并手写了 PPO 的 clipped surrogate objective。面试官接着问：“有没有了解过更新的算法，比如 RAFT 或者 ReST？” 这一下把我问住了，确实还需要多跟进最新论文。

6. 排列组合概率题

题目是：“从 1~100 中随机取两个数，它们的和是偶数的概率是多少？” 我分两个数都是偶数和两个数都是奇数两种情况，最终得到 1/2。

7. 多头自注意力代码

让我在白板上实现 Multi-Head Attention，包括 QKV 投影、分头计算、缩放点积、softmax、拼接和输出投影。这部分平时练得多，写起来还算顺。

二面更偏向工程实践与系统设计

1. LoRA 原理与初始化

LoRA（Low-Rank Adaptation）是一种高效的微调方法，通过注入两个低秩矩阵 A 和 B 来近似参数更新。A 通常用随机高斯初始化，B 初始化为全零，这样一开始相当于没有更新。面试官还问有没有试过别的初始化方式，比如用 Kaiming 初始化或者从 SVD 分解得到初始化值，说实话之前没试过，但感觉是个不错的实验方向。