Q-Galore量化梯度更新：进一步降低训练显存占用的新方法
在大模型时代，一个7B参数的模型全参数微调动辄需要80GB以上的显存——这几乎意味着你得拥有一张A100 80G或者多卡并行才能起步。更别提13B、70B级别的模型了。对于大多数开发者而言，这种硬件门槛直接把他们挡在了大模型训练的大门外。
但现实需求却在不断倒逼技术革新：企业希望在私有部署中微调专属模型，研究者想要快速验证新想法，边缘设备也开始尝试本地化训练。于是，“如何用更少的资源完成有效的模型训练”成了当前最热门的技术攻坚方向之一。
轻量微调（PEFT）如LoRA和QLoRA已经走出了第一步，通过只训练少量适配器参数大幅降低了显存压力。然而它们主要优化的是参数存储，而对反向传播过程中产生的高维梯度依然照单全收。这部分开销，在大型全连接层中往往比模型本身还要庞大。
正是在这个背景下，Q-Galore应运而生。它不改模型结构，也不引入额外模块，而是将目光投向了训练流程中最容易被忽视的环节——梯度本身的冗余性。
我们都知道，神经网络中的梯度矩阵通常是高维稠密张量。比如一个 $4096 \times 4096$ 的线性层，其FP16梯度就需要约32MB空间。整个Transformer堆叠下来，仅梯度就能轻松突破60GB。但有意思的是，大量实证研究表明：这些梯度在训练过程中其实具有明显的低秩特性——也就是说，它们的信息可以被压缩到远低于原始维度的子空间中而不显著损失更新方向的有效性。
这正是 GaLore 方法的核心洞察。而 Q-Galore 更进一步：既然已经投影到了低维空间，为什么不顺手再做一次量化？于是，“低秩 + 量化”的双重压缩策略就此成型。
具体来说，Q-Galore 的工作方式是这样的：
假设某一层参数为 $ W \in \mathbb{R}^{m \times n} $，其真实梯度为 $ G = \partial L / \partial W $。传统做法是完整保留这个 $ m \times n $ 的浮点张量。而 Q-Galore 则引入两个小规模的正交投影矩阵 $ P \in \mathbb{R}^{r \times m} $ 和 $ Q \in \mathbb{R}^{r \times n} $（通常 $ r=64 $ 已足够），将梯度压缩成一个 $ r \times r $ 的低维表示：
$$
G_{\text{proj}} = P G Q^T
$$
这个操作本质上是对梯度进行“降维采样”，类似于PCA的思想，只不过这里的投影方向可以是固定的随机正交矩阵，也可以是可学习的。
接下来就是关键一步：量化。对这个 $64\times64$ 的小矩阵应用INT8甚至INT4量化，使用标准的对称缩放方案：
$$
G_{\text{quant}} = \text{round}\left( \frac{G_{\text{proj}}}{\Delta} \right), \quad \Delta = \frac{\max|G_{\text{proj}}|}{2^{b-1}-1}
$$
此时的数据体积已从原来的几十MB骤降至几KB。例如，同样是 $4096\times4096$ 参数对应的梯度，FP16需32MB，而Q-Galore（r=64, INT8）仅需约4KB，理论压缩比超过8000倍。
当然，最终还是要回到原参数空间去更新权重。因此，在优化器完成状态更新后，系统会将解量化的低维梯度 $ \tilde{G}{\text{proj}} $ 反投影回去：
$$
\Delta W = \eta (P^T \tilde{G}{\text{proj}} Q)
$$
其中 $\eta$ 是学习率。整个过程绕开了对全精度梯度的持久化存储，仅维护低维量化后的中间状态和少量投影矩阵。
听起来像是一种“近似更新”，但它真的有效吗？
实际测试表明，在多个主流LLM上使用Q-Galore进行微调，最终性能与全参数训练相差不到1~2个百分点，尤其在指令跟随、常识推理等任务中表现稳定。相比之下，显存节省却是数量级的：原本需要8张A100的任务，现在单卡即可完成。
更重要的是，这套方法不限于特定结构。不像LoRA主要作用于Attention中的$W_q, W_v$，Q-Galore适用于任何二维参数矩阵，尤其是MLP中的大尺寸全连接层——这些恰恰是显存消耗的大户。
这也让它天然适合与现有PEFT方法组合使用。你可以同时启用LoRA和Q-Galore，前者负责冻结主干、只训练低秩适配器，后者则进一步压缩适配器内部的梯度流动。这种“复合轻量训练”模式正在成为ms-swift等先进框架的标准实践。
# 示例：Q-Galore简化实现逻辑（基于PyTorch伪代码） import torch import torch.nn as nn from torch import Tensor class QGaloreProjector: def __init__(self, param: Tensor, rank: int = 64, quant_bits: int = 8): self.rank = rank self.quant_bits = quant_bits self.dtype = param.dtype # 初始化随机正交投影矩阵（可固定或可学习） self.P = torch.randn(rank, param.size(0)).orthogonalize().to(param.device) self.Q = torch.randn(rank, param.size(1)).orthogonalize().to(param.device) # 量化缩放因子 self.scale = None def project(self, grad: Tensor) -> Tensor: """投影梯度到低维空间""" grad_proj = self.P @ grad @ self.Q.t() # [r, r] return grad_proj def quantize(self, x: Tensor) -> Tuple[Tensor, float]: """INT8对称量化""" scale = x.abs().max() / (2**(self.quant_bits - 1) - 1) q_x = torch.clamp((x / scale).round(), -2**(self.quant_bits-1)+1, 2**(self.quant_bits-1)-1).to(torch.int8) return q_x, scale.item() def dequantize(self, q_x: Tensor, scale: float) -> Tensor: """解量化""" return q_x.float() * scale def back_project(self, dq_grad_proj: Tensor) -> Tensor: """反投影到原始空间""" return self.P.t() @ dq_grad_proj @ self.Q # 在训练循环中使用示例 projector = QGaloreProjector(weight_tensor, rank=64, quant_bits=8) # 反向传播后获取梯度 grad = weight_tensor.grad.data # Q-Galore处理流程 with torch.no_grad(): grad_proj = projector.project(grad) # 低秩投影 q_grad, scale = projector.quantize(grad_proj) # 量化 dq_grad = projector.dequantize(q_grad, scale) # 解量化（用于优化） delta_w = projector.back_project(dq_grad) * lr # 参数更新方向 weight_tensor.add_(-delta_w) # 更新参数这段代码虽然简略，但清晰展示了Q-Galore的核心数据流：投影 → 量化 → 解量化 → 反投影。实际工程实现中，这类操作会被封装进自定义优化器（如GaloreAdamW），并通过hook机制自动注册到目标参数组上，对用户透明。
在 ms-swift 这样的集成框架中，启用Q-Galore只需要一条命令行配置：
python train.py \ --model_name_or_path Qwen/Qwen-7B \ --peft_type q_galore \ --q_galore_rank 64 \ --q_galore_quantization_bit 8 \ --optimizer galore_adamw \ --learning_rate 5e-5框架会在初始化阶段自动识别符合条件的层（通常是nn.Linear且参数量较大者），为其分配独立的投影器，并关闭原始梯度缓存。整个过程无需修改模型代码。
而在分布式训练场景下，它的优势更加突出。当结合DeepSpeed ZeRO或FSDP时，节点间通信的不再是完整的梯度块，而是压缩后的低维表示。一次AllReduce操作的数据量可能从数百MB降至几MB，极大缓解了网络带宽压力。实验数据显示，在千兆网络环境下，整体训练吞吐可提升2–3倍。
不过，高效从来都不是无代价的。使用Q-Galore时有几个关键权衡点值得注意：
- 投影秩 $r$ 的选择：太小会导致信息丢失，影响收敛稳定性；太大则削弱压缩效果。经验上，32~128 是合理区间，64 常作为默认值。
- 量化位宽：INT8 安全可靠，基本无精度损失；INT4 虽然进一步减半存储，但需要配合梯度裁剪、动态缩放校准等技巧，否则容易震荡。
- 哪些层该启用？并非所有层都值得处理。小尺寸矩阵（如LayerNorm后的映射）带来的收益远小于开销，建议跳过。一般优先应用于FFN层和Attention输出投影。
- 学习率调整：由于更新方向被平滑，建议适当提高学习率（×2 ~ ×5），以维持足够的更新幅度。
- 投影矩阵是否可训练？冻结P/Q能节省显存和计算，但设为可学习有时能加快收敛，属于“用资源换速度”的选项。
好在现代训练框架已经开始提供自动化决策能力。ms-swift 就内置了层筛选策略，能根据参数形状、梯度范数变化趋势等指标智能判断启用范围，并支持恢复检查点时同步加载投影状态。
回过头看，Q-Galore的意义不仅在于省下了几张GPU的钱，更代表了一种思维方式的转变：我们不再默认“训练就必须完整保留每一步中间状态”，而是开始主动识别并消除其中的冗余。
从LoRA的“参数稀疏化”到QLoRA的“权重量化”，再到Q-Galore的“梯度压缩”，轻量训练的技术演进路径越来越清晰：越靠近计算链条的底层，优化潜力越大。
而这也预示着未来的一个可能方向：硬件感知的训练算法。未来的优化器或许会直接与CUDA内核协同设计，利用Tensor Core的低精度计算单元原生支持整数量化梯度更新，彻底摆脱FP16/FP32的包袱。
目前，Q-Galore已在ms-swift中支持超过600个纯文本大模型和300个多模态模型的一站式训练流程。无论是科研实验还是工业部署，它都提供了一个高性价比的选择——让更多的模型能在更低的门槛下被微调、迭代和落地。
某种意义上，这才是AI普惠真正的起点：不是谁拥有最大的集群，而是谁能最聪明地使用手中的资源。
