大模型微调技术已成为连接通用预训练模型与垂直领域应用的关键桥梁，使开发者能够在不重训练整个模型的前提下，高效注入领域知识、优化模型性能并降低计算资源需求。随着模型参数量从亿级向万亿级扩展，传统全参数微调方法面临显存占用高、存储成本大、训练时间长等挑战，而参数高效微调(PEFT)方法通过创新性地只更新模型的一小部分参数，实现了资源利用与模型性能的最优平衡。本文将系统梳理微调技术的全貌，从基本概念、方法分类、技术原理到应用场景与未来趋势，为读者提供全面而实用的微调技术指南。
一、微调技术的基本概念与原理
1. 微调的本质与分类
微调(fine-tuning)是迁移学习的一种特殊形式，通过在预训练模型的基础上，利用特定领域的数据进行进一步训练，使模型能够适应下游任务。根据参数更新策略的不同，微调可分为两大类：
全参数微调(Full Fine-Tuning, FMT)：解冻并更新模型的所有参数，使模型能够完全适应新任务。这种方法虽然计算资源需求高，但能提供最佳的性能潜力。
参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)：仅更新模型中的一小部分参数，而保持大部分预训练权重不变，从而大幅降低计算和存储成本。PEFT方法通常分为三类：
- 添加式方法：在模型中添加可训练的小模块
- 重参数化方法：通过低秩分解等方式重新参数化权重更新
- 局部微调方法：仅选择并更新模
