1.UniVideo: Unified Understanding, Generation, and Editing for Videos
- 论文下载地址：https://arxiv.org/pdf/2510.08377
- 工程主页：https://congwei1230.github.io/UniVideo/
- 开源代码（即将开源）：https://github.com/KwaiVGI/UniVideo
文章提出 UniVideo，一款统一视频理解、生成与编辑的多模态框架。其采用双流设计，结合多模态大语言模型（MLLM）解析指令与多模态 DiT（MMDiT）生成视频，兼顾语义理解与视觉一致性。
模型通过三阶段训练，统一文本 / 图像到视频生成、上下文视频生成与编辑等任务，无需任务特定模块。实验表明，其性能比肩或超越现有专项模型，且具备泛化能力：可组合任务（如编辑 + 风格迁移），还能从图像编辑数据迁移至自由形式视频编辑（如绿幕抠像、材质替换）。
此外，支持视觉提示驱动的视频生成，能解读标注类输入。该框架突破了现有视频模型的模态与任务局限，为多模态视频助手奠定基础。
2.（EMNLP2025）COCO-Tree: Compositional Hierarchical Concept Trees for Enhanced Reasoning in Vision Language Models
- 论文下载地址：https://arxiv.org/pdf/2510.11012
- 开源代码：https://github.com/sanchit97/COCO-Tree
文章针对视觉语言模型（VLMs）的组合推理短板，提出 COCO-Tree 框架。该框架借助与 VLM 规模相当的 LLM 构建神经符号概念树，通过语义形态分解、递归概念探索生成层级化概念节点，再用贪心或束搜索策略筛选推理路径。
其核心是融合视觉 - 语言复合分数与 VLM 原始输出，既提升组合推理性能，又提供可解释的推理依据。在 Winoground 等四个基准测试中，COCO-Tree 使七种开源 VLMs 的组合泛化能力提升 5%-10%，且资源消耗低、无需大型 LLM 支持。该方法有效弥补了 VLMs 在实体关系理解上的不足，为安全关键领域应用奠定基础。
3.FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model
- 论文下载地址：https://arxiv.org/pdf/2510.10921
- 工程主页：https://360cvgroup.github.io/FG-CLIP/
- 开源代码：https://github.com/360CVGroup/FG-CLIP
文章提出双语细粒度视觉语言对齐模型 FG-CLIP 2，旨在解决现有模型在中英双语细粒度理解上的不足。模型采用两阶段训练范式，第一阶段通过长短文本实现全局对齐，第二阶段融入区域文本匹配等细粒度目标，并新增文本模态内对比损失（TIC）以区分语义相似描述。
其训练数据涵盖大规模中英双语图像 - 文本对及区域文本对，还构建了中文长文本检索、边界框分类等基准测试集。实验表明，FG-CLIP 2 在 29 个数据集、8 类任务上均超越现有模型，在双语细粒度对齐、开放词汇检测等任务中表现突出，同时兼顾标准图像分类性能，为双语多模态理解提供了有效解决方案。
4.ViSurf: Visual Supervised-and-Reinforcement Fine-Tuning for Large Vision-and-Language Models
- 论文下载地址：https://arxiv.org/pdf/2510.10606
- 代码即将开源
文章提出 ViSurf，一种融合监督微调（SFT）与可验证奖励强化学习（RLVR）的单阶段视觉语言大模型后训练范式。其核心是将真实标签作为高奖励样本融入 RLVR 的滚动过程，同时设计三种奖励控制策略（标签与滚动偏好对齐、消除思考奖励、平滑奖励）稳定训练。
理论分析表明，ViSurf 的梯度同时包含 SFT 的外部指导与 RLVR 的内部强化。实验显示，该方法在非目标分割、异常检测等多领域基准测试中，性能超越 SFT、RLVR 及两阶段方法，且有效缓解灾难性遗忘，降低提示工程依赖，为视觉语言模型的高效后训练提供了新方案。
5.UniFlow: A Unified Pixel Flow Tokenizer for Visual Understanding and Generation
- 论文下载地址：https://arxiv.org/pdf/2510.10575
- 开源代码：https://github.com/ZhengrongYue/UniFlow
文章提出 UniFlow，一款统一视觉理解与生成的像素流分词器，旨在打破传统矢量量化（VQ）分词器的信息损失与模态对齐局限。其核心是采用连续视觉词元表示图像，通过统一自回归 Transformer 架构，将文本离散词元与图像连续词元嵌入同一空间。
模型融合扩散头处理生成任务、分类头应对理解任务，以 “下一个词元预测” 为统一训练目标，通过损失权重调整平衡双任务性能。实验表明，UniFlow 在文本到图像生成、视觉问答等任务中表现比肩单任务模型，且随机顺序生成策略提升了图像保真度，依托强 LLM 主干增强了跨任务泛化能力，为多模态统一建模提供了新路径。
6.Constructive Distortion: Improving MLLMs with Attention-Guided Image Warping
- 论文下载地址：https://arxiv.org/pdf/2510.09741
- 工程主页：https://dwipddalal.github.io/Attwarp/
- 开源代码：https://github.com/dwipddalal/Attwarp
文章提出 AttWarp，一种轻量级测试时图像扭曲方法，旨在解决多模态大模型（MLLMs）在复杂场景中细粒度感知接地不足的问题。其核心是利用 MLLM 的跨模态注意力图，通过矩形扭曲非均匀重采样图像，放大查询相关区域同时压缩无关区域，且保留全局上下文。
该方法无需修改模型权重或架构，通过注意力聚合生成边际注意力分布，指导图像扭曲，还延伸出迭代优化的 AttWarp-Chain 和高效推理的 AttWarp-Distill 变体。实验显示，在 5 个基准测试、4 种 MLLMs 上，AttWarp 持续提升准确率、增强组合推理并减少幻觉，优于 4 种测试时图像操作基线，为 MLLMs 的视觉理解能力优化提供了灵活高效的解决方案。
7.ViCO: A Training Strategy towards Semantic Aware Dynamic High-Resolution
- 论文下载地址：https://arxiv.org/pdf/2510.12793
- 代码即将开源
文章提出 ViCO 训练策略，旨在解决多模态大模型（MLLMs）因视觉 tokens 过多导致的推理成本高昂问题。其核心是基于语义复杂度动态调整视觉 tokens 数量，通过两阶段训练实现：一致性训练最小化不同压缩率下模型响应的 KL 散度，路由器训练让视觉分辨率路由器（ViR）为每个图像补丁选择合适压缩率。
ViCO 采用多 MLP 连接器下采样视觉 tokens，ViR 以补丁为单位自适应分配 tokens，复杂语义区域保留更多 tokens，简单区域则压缩。实验显示，该方法在 InternVL3.5 系列模型上，可减少高达 50% 的视觉 tokens，同时保持感知、推理及 OCR 能力，推理吞吐量近乎翻倍，为高效 MLLMs 发展提供了有效方案。
8.SRUM: Fine-Grained Self-Rewarding for Unified Multimodal Models
- 论文下载地址：https://arxiv.org/pdf/2510.12784
- 工程主页：https://waynejin0918.github.io/srum_web/
- 开源代码：https://github.com/WayneJin0918/SRUM
文章提出 SRUM 框架，旨在解决统一多模态模型（UMMs）中理解能力强但生成能力弱的差距。其核心是让模型的理解模块作为 “评估器”，通过自奖励机制提升生成模块性能，无需额外人工标注数据。
SRUM 设计了全局 - 局部双奖励系统：全局奖励保障视觉语义和布局正确性，局部奖励优化目标级细粒度保真度。通过两阶段流程 —— 生成带边界框的候选图像、双奖励评估、奖励加权训练，实现模型自改进。实验显示，SRUM 在 T2I-CompBench 和 T2I-ReasonBench 等基准测试中表现优异，显著提升构图和推理能力，且泛化性强，为 UMMs 的理解与生成协同优化提供了新范式。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
