note
- 本文提出了VQAThinker，一种基于推理的VQA框架，通过结合大型多模态模型和强化学习，实现了可泛化和可解释的视频质量评估。
- 它把视频质量评估从“直接回归一个分数”，升级成“先像人一样分析视频有哪些质量问题，再给出分数”，并用 GRPO 强化学习只靠 MOS 分数监督，就训练出既能打分、又能解释的视频质量评估模型。
- VQAThinker引入了三种VQA特定奖励函数，分别用于细粒度的得分预测、相对质量判别和时间失真建模。广泛的实验表明，VQAThinker在领域内和领域外的基准测试中均取得了最先进的性能，并通过显式的推理轨迹提供了强大的可解释性。
- 三大reward：
- ① Bell-shaped Regression Reward：让分数更细
- ② Pairwise Ranking Reward：让相对排序更稳
- ③ Temporal Consistency Reward：让模型更懂时序问题
文章目录
- note
- 一、研究背景
- 二、VQAThinker
- 1、模型架构
- 2、GRPO训练
- 3、Reward设计
- 三、实验设计
- 四、结果与分析
- Reference
一、研究背景
论文：VQAThinker: Exploring Generalizable and Explainable Video Quality Assessment via Reinforcement Learning
2026.2
https://github.com/clh124/VQAThinker
开源模型：https://huggingface.co/kkkkkklinhan/InternVL3-VQAThinker-8B
- 研究问题：这篇文章要解决的问题是视频质量评估（VQA），即如何客观量化视频质量的主观退化，使其与人类视觉感知一致。尽管现有的VQA模型取得了一定的进展，但它们在泛化到分布外（OOD）视频和可解释性方面仍存在两个关键限制。
- 研究难点：该问题的研究难点包括：现有VQA模型在处理分布外视频时表现不佳，缺乏可解释性，难以在实际场景中应用。
- 相关工作：该问题的研究相关工作包括基于手工特征的早期方法、深度神经网络（DNN）架构、大型多模态模型（LMM）以及强化学习（RL）的应用。这些方法在不同程度上提高了VQA的性能，但仍存在泛化能力和可解释性的不足。
二、VQAThinker
这篇论文提出了VQAThinker，一种基于推理的VQA框架，利用大型多模态模型 （LMMs）和强化学习来联合建模视频质量理解和评分，模拟人类的感知决策过程。
1、模型架构
1、模型架构：VQAThinker采用一个开源的LMM作为骨干，输入视频和文本提示，生成一个包含质量推理轨迹和质量得分的响应。为了实现时间感知的视频质量建模，还引入了一个冻结的运动特征提取器来提取局部时间动态。
2、GRPO训练
2、强化学习策略：采用组相对策略优化（GRPO）来训练VQAThinker，消除对显式价值函数的需求。
在训练过程中，GRPO为一组视频生成多个质量响应，并使用特定的VQA奖励函数进行评估。
3、Reward设计
VQA特定奖励函数：设计了三个VQA特定奖励函数：
- 钟形回归奖励：通过高斯函数实现，随着预测误差的减小而迅速增加，并在接近真实值时逐渐变得不敏感。
- 成对排名奖励：通过比较视频对的预测得分与真实得分的排名一致性来指导模型。
- 时间一致性奖励：通过比较原始视频和时间扰动视频的模型预测来捕捉时间失真。
| Reward | 作用 | 通俗理解 |
|---|---|---|
| 1. Bell-shaped Regression Reward | 让预测分数接近真实 MOS | 模型输出的质量分越接近人工 MOS，奖励越高；而且接近正确答案时奖励更细，逼模型学会精细打分 |
| 2. Pairwise Ranking Reward | 让视频质量排序正确 | 如果真实标签里视频 A 比视频 B 质量高，模型也应该预测 A 分数 > B 分数 |
| 3. Temporal Consistency Reward | 让模型识别视频时序退化 | 构造帧重复、丢帧、乱序等时序扰动视频，要求模型认为原视频质量高于扰动视频 |
三、实验设计
- 数据集：VQAThinker在LSVQ数据集上进行训练，该数据集包含28,056个用户生成视频。评估方面，从视频质量评分和视频质量理解两个角度进行评估。视频质量评分的评估数据集包括LSVQ Test、LSVQ 1080p、KoNViD-1k、LIVE-VQC、YouTube-UGC等。视频质量理解的评估数据集包括FineVD和Q-Bench-Video。
- 对比方法：将VQAThinker与无监督方法（如NIQE、VIIDEO、STEM、CLIP-IQA）、监督方法（如SimpleVQA、FAST-VQA、DOVER、MinimalisticVQA、Q-Align、VQA2-Scorer）以及强化学习方法（如Q-Insight、VisualQuality-R1、VQ-Insight）进行对比。
- 实现细节：使用InternVL3-8B作为LMM骨干，SlowFast作为运动特征提取器，初始化为公开发布的权重。在训练过程中，运动特征提取器保持冻结，其他组件进行微调。GRPO训练器中，响应数量K设为4，KL惩罚系数β设为0.04。模型在8个NVIDIA A800 GPU上进行三周期训练，总批量大小为64，学习率为1×10−6。
四、结果与分析
- 视频质量评分：在十个VQA基准测试中，VQAThinker在几乎所有基准上均取得了最先进的性能，并在整体准确性上优于所有对比方法。与最近的RL方法VQ-Insight相比，VQAThinker采用了更简洁的训练过程，但性能更优。
- 视频质量理解：在FineVD和Q-Bench-Video基准上，VQAThinker在没有显式视频质量指令数据的情况下，仍然表现出色。在FineVD上，VQAThinker显著优于开源LMMs和RL基线模型，甚至超过了FineVQ模型。在Q-Bench-Video上，VQAThinker的表现仅次于VQA2-Assistant，后者在157K指令-答案对上进行训练。
- 消融研究：通过消融研究验证了运动特征提取器、推理输出和三种VQA特定奖励函数的贡献。结果表明，移除任何一个模块都会导致大多数数据集上的性能下降，强调了各模块的互补性和设计的必要性。
Reference
[1] VQAThinker: Exploring Generalizable and Explainable Video Quality Assessment via Reinforcement Learning
