5分钟上手verl：小白也能轻松搞定LLM监督微调
1. 引言：快速入门 SFT 的关键需求
在大语言模型（LLM）的完整训练流程中，监督微调（Supervised Fine-Tuning, SFT）是连接预训练与强化学习阶段的核心环节。通过在高质量标注数据上进行有监督训练，SFT 能显著提升模型在特定任务上的表现力和可控性。
然而，传统 SFT 实现往往面临以下挑战： - 环境配置复杂，依赖项繁多 - 分布式训练门槛高，调试困难 - 内存占用大，难以在有限资源下运行 - 缺乏统一框架支持多场景、可扩展的微调方案
verl正是为解决这些问题而生。作为字节跳动火山引擎团队开源的强化学习训练框架，verl 不仅支持高效的 RLHF 训练，其模块化设计也使得SFT 训练变得异常简单且高效。它是 HybridFlow 论文的官方实现，具备生产级稳定性与高性能吞吐能力。
本文将带你从零开始，在5 分钟内完成 verl 安装并启动一个完整的 SFT 任务，即使你是深度学习新手，也能轻松上手。
2. verl 核心特性解析
2.1 模块化架构设计
verl 采用清晰的模块解耦设计，各组件职责分明，便于定制和扩展：
| 组件 | 功能说明 |
|---|---|
FSDPSFTTrainer | 基于 FSDP 的主训练器，支持分布式训练 |
SFTDataset | 数据加载与预处理模块，支持动态 padding 和序列打包 |
CheckpointManager | 断点续训支持，自动保存/恢复模型状态 |
DeviceMesh | 设备拓扑管理，灵活控制 GPU 并行策略 |
这种设计让开发者可以像搭积木一样组合不同功能模块，无需重写底层逻辑。
2.2 高性能优势
verl 在性能层面做了大量优化，确保训练效率最大化：
- 3D-HybridEngine 支持：实现 Actor 模型的高效重分片，减少通信开销
- 无缝集成 vLLM / Megatron-LM / PyTorch FSDP：利用现有 SOTA 推理与训练框架提升吞吐
- Liger-Kernel 加速支持：启用后可大幅提升 kernel 执行效率
- 内存冗余消除机制：通过智能设备映射降低显存占用
这些特性共同保障了 verl 在单卡、多卡乃至多节点集群上的良好扩展性。
3. 快速安装与环境验证
3.1 安装步骤（3步完成）
# Step 1: 克隆仓库 git clone https://gitcode.com/GitHub_Trending/ve/verl cd verl # Step 2: 安装基础依赖 pip install -r requirements.txt pip install -r requirements_sglang.txt # Step 3: （可选）安装性能增强包 pip install liger-kernel # 提升训练速度 20%+⚠️ 建议使用 Python 3.10+ 和 PyTorch 2.1+ 环境以获得最佳兼容性。
3.2 验证安装是否成功
进入 Python 交互环境执行以下命令：
import verl print(verl.__version__)若输出版本号（如0.1.0），则表示安装成功。
4. 构建你的第一个 SFT 任务
4.1 数据准备：标准格式要求
verl 推荐使用 Parquet 格式存储训练数据，结构如下：
{ "question": "请解方程：x^2 - 5x + 6 = 0", "answer": "因式分解得 (x-2)(x-3)=0，所以 x=2 或 x=3\n#### 2,3", "extra_info": {"difficulty": "medium"} }字段说明： -prompt_key: 输入提示字段名（如"question"） -response_key: 输出响应字段名（如"answer"）
你可以使用内置脚本进行数据预处理：
cd examples/data_preprocess python3 gsm8k.py --local_dir ~/data/gsm8k该脚本会自动下载 GSM8K 数据集并转换为 Parquet 格式。
4.2 配置文件详解：sft_trainer.yaml
创建sft_trainer.yaml文件，内容如下：
data: train_files: ${oc.env:HOME}/data/gsm8k/train.parquet val_files: ${oc.env:HOME}/data/gsm8k/test.parquet prompt_key: question response_key: answer micro_batch_size_per_gpu: 4 max_length: 2048 model: partial_pretrain: Qwen/Qwen2.5-0.5B-Instruct strategy: fsdp2 enable_gradient_checkpointing: true use_liger: false optim: lr: 1e-4 warmup_steps_ratio: 0.1 clip_grad: 1.0 trainer: total_epochs: 3 project_name: gsm8k-sft default_local_dir: ./checkpoints关键参数解释： -micro_batch_size_per_gpu: 单卡微批次大小，影响显存占用 -enable_gradient_checkpointing: 开启梯度检查点以节省显存 -partial_pretrain: HuggingFace 模型名称，支持远程加载 -use_liger: 是否启用 LigerKernel 加速（需提前安装）
5. 启动训练：单机多卡实战
5.1 单机多卡训练命令
#!/bin/bash set -x nproc_per_node=4 save_path="./checkpoints" torchrun --standalone --nnodes=1 --nproc_per_node=$nproc_per_node \ -m verl.trainer.fsdp_sft_trainer \ data.train_files=$HOME/data/gsm8k/train.parquet \ data.val_files=$HOME/data/gsm8k/test.parquet \ data.prompt_key=question \ data.response_key=answer \ optim.lr=1e-4 \ data.micro_batch_size_per_gpu=4 \ model.partial_pretrain=Qwen/Qwen2.5-0.5B-Instruct \ trainer.default_local_dir=$save_path \ trainer.project_name=gsm8k-sft \ trainer.experiment_name=gsm8k-sft-qwen-2.5-0.5b-instruct \ trainer.logger=console \ trainer.total_epochs=3✅ 成功运行后，日志将实时输出 loss、learning rate、throughput 等指标。
5.2 LoRA 微调模式（低资源推荐）
对于显存受限场景，建议使用 LoRA 进行参数高效微调：
torchrun -m verl.trainer.fsdp_sft_trainer \ data.train_files=$HOME/data/gsm8k/train.parquet \ data.val_files=$HOME/data/gsm8k/test.parquet \ model.partial_pretrain=Qwen/Qwen2.5-0.5B-Instruct \ model.lora_rank=32 \ model.lora_alpha=16 \ model.target_modules=all-linear \ trainer.total_epochs=2LoRA 优势： - 显存占用降低 60% 以上 - 训练速度更快 - 可单独保存适配器权重，便于部署
6. 多场景配置示例
6.1 数学推理任务（GSM8K）
torchrun -m verl.trainer.fsdp_sft_trainer \ data.train_files=$HOME/data/gsm8k/train.parquet \ data.val_files=$HOME/data/gsm8k/test.parquet \ data.prompt_key=question \ data.response_key=answer \ data.micro_batch_size_per_gpu=8 \ model.partial_pretrain=deepseek-ai/deepseek-math-7b-instruct \ optim.lr=2e-5 \ trainer.total_epochs=4 \ trainer.project_name=math-sft💡 注意：数学类模型通常需要更长 warmup 和更低学习率。
6.2 多轮对话任务
torchrun -m verl.trainer.fsdp_sft_trainer \ data.train_files=$HOME/data/multiturn/train.parquet \ data.prompt_dict_keys='["question"]' \ data.response_dict_keys='["answer"]' \ model.partial_pretrain=Qwen/Qwen2.5-7B-Instruct \ data.micro_batch_size_per_gpu=2 \ trainer.total_epochs=2📌 多轮对话输入可能包含历史上下文，建议减小 batch size 以防 OOM。
6.3 代码生成任务
torchrun -m verl.trainer.fsdp_sft_trainer \ data.train_files=$HOME/data/code/train.parquet \ model.partial_pretrain=deepseek-ai/deepseek-coder-6.7b-instruct \ data.max_length=4096 \ optim.lr=1e-4 \ trainer.total_epochs=3🔧 代码任务需要更长上下文支持，设置
max_length=4096更合适。
7. 性能优化技巧与最佳实践
7.1 内存优化策略
当出现 OOM 时，优先尝试以下配置：
model: enable_gradient_checkpointing: true lora_rank: 32 fsdp_config: cpu_offload: true offload_params: true data: micro_batch_size_per_gpu: 2组合使用 LoRA + 梯度检查点 + CPU 卸载，可在 24GB 显存下微调 7B 模型。
7.2 计算加速建议
启用 LigerKernel 可显著提升训练吞吐：
model: use_liger: true use_remove_padding: true ulysses_sequence_parallel_size: 2实测表明，在 A100 上启用 Liger 后，token/s 提升约 25%。
7.3 多节点训练（SLURM 示例）
#!/bin/bash #SBATCH --job-name=verl-sft #SBATCH --nodes=4 #SBATCH --ntasks-per-node=8 #SBATCH --gres=gpu:8 srun --mpi=pmi2 torchrun \ --nnodes=4 \ --nproc_per_node=8 \ --rdzv_id=12345 \ --rdzv_backend=c10d \ --rdzv_endpoint=master_node:29500 \ -m verl.trainer.fsdp_sft_trainer \ data.train_files=$HOME/data/gsm8k/train.parquet \ model.partial_pretrain=Qwen/Qwen2.5-7B-Instruct \ data.micro_batch_size_per_gpu=2 \ trainer.total_epochs=38. 监控与问题排查
8.1 关键监控指标
| 指标类型 | 监控项 | 正常范围 |
|---|---|---|
| 损失函数 | train/loss | 持续下降，最终收敛 |
| 学习率 | train/lr | 按调度器曲线变化 |
| 显存使用 | GPU Memory | < 80% 总显存 |
| 吞吐量 | tokens/sec | 依据硬件合理波动 |
8.2 常见问题解决方案
问题1：CUDA Out of Memory
# 解决方案 model: enable_gradient_checkpointing: true lora_rank: 32 data: micro_batch_size_per_gpu: 2问题2：训练速度慢
# 启用加速选项 model: use_liger: true use_remove_padding: true data: balance_dp_token: true问题3：收敛不稳定
# 调整优化器参数 optim: lr: 1e-5 warmup_steps_ratio: 0.2 clip_grad: 0.59. 自定义扩展与进阶功能
9.1 自定义数据集处理
继承SFTDataset实现自定义逻辑：
from verl.utils.dataset import SFTDataset class CustomSFTDataset(SFTDataset): def __init__(self, data_path, tokenizer, max_length=2048): super().__init__(data_path, tokenizer, max_length) def _process_item(self, item): prompt = item['custom_prompt_field'] response = item['custom_response_field'] return self._tokenize_pair(prompt, response)9.2 混合精度训练配置
model: fsdp_config: model_dtype: bf16 optim: use_fused_adam: true使用 bfloat16 可进一步节省显存并提升计算效率。
9.3 断点续训功能
torchrun -m verl.trainer.fsdp_sft_trainer \ trainer.resume_mode=resume_path \ trainer.resume_from_path=./checkpoints/global_step_1000 \ # ... 其他参数支持从任意检查点恢复训练，避免重复计算。
10. 总结
verl 为 LLM 的监督微调提供了极简、高效、可扩展的一站式解决方案。通过本文的引导，你已经完成了：
- verl 的快速安装与验证
- 第一个 SFT 任务的完整配置与启动
- 多种典型场景的应用示例
- 性能优化与问题排查方法
无论你是初学者还是资深工程师，verl 都能帮助你在短时间内构建稳定可靠的 SFT 流程，并为后续的强化学习阶段打下坚实基础。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
