news 2026/6/14 20:58:23

第24章:多模态 RAG——图片、PDF 与版面信息

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
第24章:多模态 RAG——图片、PDF 与版面信息

1. 项目背景

某硬件公司的产品说明书是 PDF 格式,包含大量图文混排内容——产品外观图片、电路连接示意图、参数规格表格、操作步骤截图。售后团队将 200+ 份说明书导入知识库上线两周后,客服同事反馈了一个令人哭笑不得的场景:

用户问"这个接口在设备哪个位置",纯文本 RAG 回答——“请参见说明书第 3 页的接口图示”。回复本身没错,第 3 页确实有一张标注了所有接口位置的示意图,但纯文本 RAG 只能告诉你"去看图",没法把图片呈现给用户。用户问"红色指示灯亮了代表什么",纯文本 RAG 回答"指示灯状态请参见说明书第 15 页",然而"红色指示灯亮起表示设备过热需立即断电"这条关键信息恰恰只在说明书第 15 页的一张提示图中以红色标注文字呈现,正文里一个字都没有。

三个维度的信息丢失尤为突出:

第一,图片信息丢失。产品说明书中的示意图、标注图、流程图承载了大量"一图胜千言"的信息——比如电路板的跳线设置、设备接口的物理位置、LED 指示灯的颜色含义。这些信息是"天然的图片信息",以像素和标注形式存在,文本层根本没有对应的文字描述。Embedding 模型再强,也无法理解一个没有文本的图片区域。

第二,表格结构破坏。规格参数表——3 列 10 行,列标题是"参数名 / 最小值 / 最大值",纯文本解析后变成了一行混乱的字符串:“参数名 最小值 最大值 输入电压 12V 24V 工作温度 -20 85 额定功率 50W 200W…”。列与列的对应关系丢失,用户问"输入电压的最大值是多少",系统要么找不到,要么把"工作温度的最大值 85℃"当成答案。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/14 20:53:01

Vite 构建链路优化:从预构建到代码分割的性能调优

Vite 构建链路优化:从预构建到代码分割的性能调优 一、Vite 构建瓶颈:开发快不等于生产快 Vite 的开发体验令人印象深刻——利用浏览器原生 ESM 实现毫秒级冷启动。但生产构建使用 Rollup 打包,大型项目的构建时间仍然可能超过 60 秒。更关键…

作者头像 李华
网站建设 2026/6/14 20:52:59

戴森球计划工厂蓝图库:从新手到专家的星际建造指南

戴森球计划工厂蓝图库:从新手到专家的星际建造指南 【免费下载链接】FactoryBluePrints 游戏戴森球计划的**工厂**蓝图仓库 项目地址: https://gitcode.com/GitHub_Trending/fa/FactoryBluePrints FactoryBluePrints 是戴森球计划游戏中最全面的社区蓝图集合…

作者头像 李华
网站建设 2026/6/14 20:51:55

借助 AtomCode 快速适配 hwloc|搞定鸿蒙 PC config.sub 平台识别难题

欢迎加入【开源鸿蒙PC社区】,一起共建鸿蒙化C/C三方库生态。 欢迎在【PC社区】平台贡献你的项目。 仓库: open-mpi/hwloc v2.14.0 — Portable hardware topology detection library 适配平台: 鸿蒙PC 资源地址hwloc 上游仓库https://github.com/open-mpi/hwlochwlo…

作者头像 李华
网站建设 2026/6/14 20:49:54

Python C 扩展与 Cython 性能优化:从热路径识别到原生代码加速

Python C 扩展与 Cython 性能优化:从热路径识别到原生代码加速 一、Python 的性能天花板:当算法优化无法弥补解释器开销 Python 的动态类型和解释执行机制,使得纯 Python 代码的运行速度通常比 C 慢 50-200 倍。当算法层面的优化(…

作者头像 李华
网站建设 2026/6/14 20:41:58

戴森球计划8000+工厂蓝图:从新手到大师的终极效率指南

戴森球计划8000工厂蓝图:从新手到大师的终极效率指南 【免费下载链接】FactoryBluePrints 游戏戴森球计划的**工厂**蓝图仓库 项目地址: https://gitcode.com/GitHub_Trending/fa/FactoryBluePrints 还在为复杂的生产线设计而烦恼吗?戴森球计划Fa…

作者头像 李华
网站建设 2026/6/14 20:38:56

终极解决方案:如何永久解决Cursor试用限制并禁用自动更新

终极解决方案:如何永久解决Cursor试用限制并禁用自动更新 【免费下载链接】go-cursor-help 解决Cursor在免费订阅期间出现以下提示的问题: Your request has been blocked as our system has detected suspicious activity / Youve reached your trial request limi…

作者头像 李华