Qwen2-VL-Finetune是一个专为阿里云Qwen2-VL、Qwen2.5-VL和Qwen3-VL系列视觉语言模型设计的开源微调框架。该项目基于HuggingFace和Liger-Kernel构建，支持全量微调、LoRA/QLoRA、DPO、GRPO等多种训练策略，让开发者能够在有限的计算资源下高效完成视觉语言模型的定制化训练。🚀
【免费下载链接】Qwen2-VL-FinetuneAn open-source implementaion for fine-tuning Qwen2-VL and Qwen2.5-VL series by Alibaba Cloud.项目地址: https://gitcode.com/gh_mirrors/qw/Qwen2-VL-Finetune
项目概述：多模态AI微调新标杆
Qwen2-VL-Finetune项目旨在降低视觉语言模型微调的技术门槛，为研究者和开发者提供一套完整、易用的训练解决方案。无论你是想要在特定领域数据上优化模型表现，还是希望探索新的训练范式，这个项目都能为你提供强大的支持。
5分钟快速入门：从零开始微调体验
环境配置一步到位
使用conda环境快速搭建训练环境：
conda env create -f environment.yaml conda activate train pip install qwen-vl-utils pip install flash-attn --no-build-isolation或者使用pip直接安装：
pip install -r requirements.txt -f https://download.pytorch.org/whl/cu128 pip install qwen-vl-utils pip install flash-attn --no-build-isolation数据准备：遵循LLaVA标准格式
项目要求训练数据采用LLaVA格式的JSON文件。单图像数据集示例如下：
[ { "id": "000000033471", "image": "000000033471.jpg", "conversations": [ { "from": "human", "value": "<image>\nWhat are the colors of the bus in the image?" }, { "from": "gpt", "value": "The bus in the image is white and red." } ] } ]启动你的第一次微调
执行全量微调：
bash scripts/finetune.sh使用LoRA微调语言模型：
bash scripts/finetune_lora.sh同时微调语言和视觉模型的LoRA版本：
bash scripts/finetune_lora_vision.sh核心功能详解：全方位微调能力
多种微调策略支持
全量微调（Full Finetuning）
- 完整更新模型所有权重参数
- 需要较大显存和计算资源
- 适用于数据量充足、追求最佳性能的场景
LoRA微调（参数高效微调）
- 仅训练低秩适配器，大幅节省显存
- 支持语言模型单独LoRA或视觉语言模型同时LoRA
- 推荐使用场景：资源受限、快速迭代
DPO训练（直接偏好优化）
- 基于人类反馈的强化学习微调
- 提升模型输出质量和对齐程度
GRPO训练（组相对策略优化）
- 创新的策略优化方法
- 支持自定义奖励函数
视频和多图像训练能力
项目支持视频和多图像数据的训练，将视频视为多帧图像的序列处理：
bash scripts/finetune_video.sh分类任务专项优化
针对分类场景的专门优化：
bash scripts/finetune_cls.sh配置参数深度解析：精准控制训练过程
关键训练参数详解
模型路径配置
--model_id: 指定基础模型路径（必填）--data_path: 训练数据JSON文件路径（必填）--image_folder: 图像文件夹路径（必填）
训练策略参数
--freeze_vision_tower: 是否冻结视觉编码器--freeze_llm: 是否冻结语言模型--tune_merger: 是否微调投影器
学习率配置
--learning_rate: 语言模型学习率（默认1e-5）--vision_lr: 视觉模型学习率（默认2e-6）--merger_lr: 投影器学习率（默认1e-5）
LoRA相关参数
--lora_rank: LoRA秩（默认128）--lora_alpha: LoRA alpha值（默认256）--lora_dropout: LoRA dropout率（默认0.05）
DeepSpeed配置选择指南
Zero2配置
- 训练速度更快
- 显存消耗较大
- 稳定性较好
Zero3配置
- 显存优化更好
- 训练速度稍慢
- 支持混合模态数据
使用最佳实践：专家级调优技巧
显存优化策略
图像分辨率调整通过设置最小和最大像素数控制显存使用：
--image_min_pixels $((512 * 28 * 28)) --image_max_pixels $((1280 * 28 * 28))梯度累积技巧
GLOBAL_BATCH_SIZE=128 BATCH_PER_DEVICE=4 NUM_DEVICES=8 GRAD_ACCUM_STEPS=$((GLOBAL_BATCH_SIZE / (BATCH_PER_DEVICE * NUM_DEVICES)))训练加速方法
Liger-Kernel优化
- 默认启用，显著提升训练效率
- 对于Qwen3-VL全量微调，建议关闭以获得更好性能
Flash Attention 2
- 默认启用，优化注意力计算
- 特殊情况下可手动禁用
数据处理规范
多图像数据集格式
{ "id": "000000033471", "image": ["000000033471.jpg", "000000033472.jpg"], "conversations": [ { "from": "human", "value": "<image>\n<image>\nIs the perspective of the camera different?" } ] }视频数据集格式
{ "id": "sample1", "video": "sample1.mp4", "conversations": [ { "from": "human", "value": "<video>\nWhat is going on in this video?" }, { "from": "gpt", "value": "A man is walking down the road." } ] }性能调优建议
学习率设置：视觉模型学习率应为语言模型的1/5到1/10
批次大小配置：根据可用显存动态调整
训练周期选择：通常1-3个epoch即可获得显著效果提升
早停机制：设置合理的早停耐心值和阈值
故障排除与常见问题
环境配置问题
libcudnn错误解决方案
unset LD_LIBRARY_PATHFlash Attention安装提示
- 必须在其他包安装完成后单独安装
- 使用
--no-build-isolation参数避免构建冲突
训练稳定性保障
梯度检查点
- 启用梯度检查点减少显存使用
- 轻微增加训练时间
混合精度训练
- 推荐使用bf16精度
- 在支持的硬件上获得更好性能
通过本指南，你应该已经掌握了使用Qwen2-VL-Finetune项目进行视觉语言模型微调的核心技能。无论你是AI研究者还是应用开发者，这个项目都能帮助你在多模态AI领域快速实现自己的想法。🎯
记住，成功的微调不仅依赖于工具，更需要你对数据和任务的理解。祝你在AI的探索之路上取得丰硕成果！✨
【免费下载链接】Qwen2-VL-FinetuneAn open-source implementaion for fine-tuning Qwen2-VL and Qwen2.5-VL series by Alibaba Cloud.项目地址: https://gitcode.com/gh_mirrors/qw/Qwen2-VL-Finetune
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
