一、文章主要内容总结
该研究聚焦于统一视觉-语言模型在多模态交错生成任务(如视觉叙事、分步视觉推理)中的不足,提出了一套无需大规模交错数据集的训练策略,核心内容如下:
- 问题背景:现有统一视觉-语言模型虽在理解和生成任务中表现出色,但受限于缺乏细粒度监督数据和模态转换引导,难以生成文本与图像交错的多模态输出,无法满足复杂场景下的推理与交互需求。
- 核心方案:
- 预热阶段(Warm-up Stage):构建混合数据集(含少量精选交错文本-图像序列、多模态理解数据和文本到图像生成数据),激活模型潜在的交错生成能力,同时保留预训练的核心性能,避免灾难性遗忘。
- 强化学习优化阶段:将分组相对策略优化(GRPO)扩展至多模态场景,提出统一策略优化框架,将文本和图像生成建模为单一解码轨迹;设计混合奖励信号(文本相关性、视觉-文本对齐、格式保真度)和过程级奖励(分步反馈),提升训练效率和生成质量。
- 实验验证:在MMIE和InterleavedBench两个多模态交错生成基准测试中,模型性能显著优于现有方法(如MiniGPT-5、EMU-2、GILL等),同时在标准多模态理解和生成任务中保持了相当的性能,未出现能力退化