Transformer实战（28）——使用 LoRA 高效微调 FLAN-T5
- 0. 前言
- 1. LoRA
- 2. SNLI 数据集
- 3. 使用 LoRA 高效微调 FLAN-T5
- 3.1 指令格式
- 3.2 模型选择
- 4. 使用 QLoRA 进行微调
- 小结
- 系列链接
0. 前言
我们已经学习了参数高效微调 (Parameter Efficient Fine-Tuning, PEFT) 的基本概念，并使用adapter-transformers和Hugging Face的PEFT框架进行实践，解决了文本分类任务，在本节中，我们将使用PEFT来解决自然语言推理 (Natural Language Inference,NLI) 问题，具体来说，使用LoRA框架高效微调FLAN-T5模型，用于NLI任务。
1. LoRA
低秩适配 (Low-rank Adaptation,LoRA) 是属于低秩微调的参数高效微调 (Parameter Efficient Fine-Tuning, PEFT) 方法，低秩结构在人工智能领域非常常见。许多任务具有一定的低秩结构，这有助于在低秩子空间中快速执行各种计算。这类PEFT方法中的主要代表是LoRA</
