甘肃敦煌研究院：HunyuanOCR参与壁画题记数字化工程
在敦煌莫高窟的幽深洞窟中，千年前的画工曾以朱砂与墨线勾勒信仰，也在石壁角落留下一行行供养人姓名、经文摘录与异族音译。这些斑驳的题记，是解读壁画年代、族群迁徙与宗教交流的关键密码。然而，岁月侵蚀让文字模糊重叠，藏汉混写、竖排倒书、虫蛀缺损等问题交织，使得传统人工抄录不仅耗时数月，还常因视觉疲劳出现误判。
正是在这种高难度文本识别需求下，腾讯推出的HunyuanOCR被引入甘肃敦煌研究院，成为壁画题记数字化链条中的“AI第一道眼”。这款基于混元原生多模态架构的轻量级OCR模型，并非简单地“看图识字”，而是尝试理解图像背后的语义结构与文化语境，在低质量、多语言、非标准排版等极端条件下，展现出接近专家水平的鲁棒性。
混合语种、残缺字迹下的新解法
以往的OCR系统大多针对现代印刷体文档设计，面对敦煌题记这类特殊场景显得力不从心：藏文辅音叠加、汉字草书连笔、颜料剥落造成的字符断裂……这些问题叠加后，通用模型的识别准确率往往跌破60%。更麻烦的是，当一段文字同时包含汉文和古藏文时，多数系统只能识别其中一种，或干脆将混合区域判定为“噪声”。
HunyuanOCR 的突破在于其端到端多模态建模能力。它没有沿用传统的“检测-识别-后处理”三段式流水线，而是通过一个统一的编码器-解码器架构，直接从图像像素映射到结构化文本输出。这意味着模型在推理过程中能同时利用视觉形状信息与上下文语言规律，实现跨模态协同补全。
举个例子：一幅唐代洞窟北壁的供养人题名中，“赤桑延登”四字因烟熏几乎不可辨，仅剩轮廓。传统方法可能将其误识为“亦”或跳过；而 HunyuanOCR 结合前后文中频繁出现的吐蕃官职称谓（如“论”、“尚”），以及藏语音译常见用字模式，成功还原出该名字的合理拼写，并标注其为古藏语音译汉字——这一结果后来被语言学专家证实无误。
这种“语义引导视觉恢复”的能力，正是大模型时代OCR进化的关键跃迁。
小模型，大能力：1B参数如何扛起SOTA性能？
令人意外的是，HunyuanOCR 并未依赖百亿级参数堆砌算力，其主干模型仅约10亿（1B）参数，却在多个专业OCR benchmark 上达到甚至超越更大规模模型的表现。这背后是一套精巧的设计哲学：不做“全能选手”，而是聚焦“垂直专家”。
它的核心架构采用改进型 ViT（Vision Transformer）作为视觉编码器，但并非原始版本，而是融合了局部卷积先验与动态分辨率采样机制，特别适合处理高分辨率文物扫描图中的微小文字区块。解码端则使用轻量化因果注意力结构，支持动态任务切换——只需改变输入提示（prompt），即可在“纯文本提取”、“多语种分类”、“字段抽取”等功能间无缝转换。
更重要的是，训练数据经过高度专业化构造。团队联合敦煌研究院专家，构建了一个涵盖8万张标注壁画局部图的专用语料库，包含汉、藏、粟特、梵、回鹘等多种文字形态，并模拟了褪色、裂纹、覆盖、透视变形等典型退化效果。这种“真实场景驱动”的训练策略，使模型在上线首周就实现了对92%以上题记的自动初筛可用。
实际部署中，一台搭载 NVIDIA RTX 4090D 显卡的工作站即可承载日均5000+图像的推理负载，单图延迟控制在400ms以内。相比过去需调用多个独立API、分布在不同服务器上的旧方案，运维复杂度下降70%，且全程数据不出内网，彻底解决文化遗产数字资产的安全顾虑。
不只是识别：一个模型打通完整工作流
如果说传统OCR是一个“工具箱”，那 HunyuanOCR 更像一位可对话的“助手”。它支持通过自然语言指令触发不同功能，例如：
- “请提取这张图片中的所有文字并标注语种”
- “找出表格区域并解析成JSON”
- “将这段古文翻译成现代汉语”
这种 Prompt 驱动的设计极大降低了使用门槛。如今，一线文保人员无需编写代码，只需在本地 Web 界面拖拽上传图像，输入一句话指令，就能获得带坐标定位、置信度评分和语言标签的结构化结果。
# 示例：API调用实现批量处理 import requests payload = { "image_url": "https://intranet/dunhuang_scan_0321.jpg", "task_prompt": "extract all text and identify language" } response = requests.post("http://localhost:8000/v1/ocr", json=payload) result = response.json() # 输出示例 { "text": [ {"content": "施主沙州百姓赵玄德", "bbox": [120, 300, 280, 320], "lang": "zh", "confidence": 0.96}, {"content": "ཕྱག་འཚལ་ལོ།", "bbox": [310, 305, 360, 325], "lang": "bo", "confidence": 0.89} ], "language_distribution": {"zh": 72, "bo": 28} }这套 API 已接入研究院内部的数字化平台，配合定时任务脚本，每晚自动处理当日新增扫描件，生成待审清单推送给专家。对于低置信度项（如<80%），系统会高亮显示并建议人工复核，形成“AI初筛 + 专家终审”的闭环流程。
我们曾对比测试：两名资深研究员手工抄录一组50幅题记平均耗时4.2小时，错误率为5.3%；而 HunyuanOCR 初筛仅用18分钟，人工只需复查12%的条目，最终整体准确率达98.1%——效率提升超过五倍。
如何部署？轻装上阵才是文物保护的现实选择
考虑到敦煌研究院的IT基础设施并不追求顶级算力，团队在部署方案上做了大量适配优化。
硬件选用了消费级旗舰显卡 RTX 4090D，而非昂贵的数据中心卡 A100。虽然单卡显存只有24GB，但通过vLLM 推理引擎进行动态批处理与 PagedAttention 内存管理，吞吐量比原生 PyTorch 提升3倍以上，足以支撑日常高峰并发。
软件层面，则采用 Docker 镜像化封装，整个服务打包为一个可移植容器，包含模型权重、依赖库与配置文件。镜像托管于 GitCode 上的私有仓库（gitcode.com/aistudent/ai-mirror-list），每次更新都有版本记录，确保可追溯、易回滚。
安全方面，API 接口启用 JWT 认证机制，限制访问权限；所有请求均走内网 HTTPS 协议，防止数据泄露。前端平台也设置了双人确认机制：任何 AI 输出进入数据库前，必须由两位专家分别审核签字，杜绝单一误判污染档案库的风险。
整个系统架构如下：
[手持相机 / 扫描仪] ↓ [图像预处理服务器] → 去噪、增强、校正 ↓ [HunyuanOCR 微服务] ← Docker + vLLM 加速 ↓ [RESTful API] ↔ [Web 平台 / 移动App] ↓ [结构化输出] → JSON → 文献管理系统 ↓ [人工复核平台] → 修改标注 → 归档松耦合设计让 OCR 模块可以独立升级而不影响其他环节，也为未来接入更多AI能力（如风格分析、年代预测）预留了接口。
多语言支持的真实边界：哪些能做，哪些仍需谨慎？
尽管官方宣称支持超100种语言，但在实际应用中我们也发现了能力边界。
HunyuanOCR 对中文简繁体、英文、日韩文、阿拉伯文、藏文、蒙古文、梵文等主流语种表现稳定，尤其在藏汉混合场景下语种判别准确率高达94%。但对于一些极为冷门的文字体系，如西夏文、于阗文、突厥鲁尼文，目前尚未完全覆盖，偶尔会出现字符乱码或跳过识别的情况。
我们的应对策略是“分层处理”：
- 主流语种交由 AI 全自动处理；
- 疑难文字由系统标记为“特殊类型”，转交专门的语言学家进行专项研究；
- 同时将这些样本收集起来，用于后续的小样本微调实验。
值得一提的是，即便无法完整识别西夏文内容，HunyuanOCR 仍能准确框选出文字区域并判断其“非汉藏系统”，这对后续人工定位已有重要价值。某种程度上，它成了研究人员的“初筛探针”。
技术之外的价值：一场关于文化传承的AI实践
HunyuanOCR 在敦煌的应用，远不止于提升效率这么简单。它正在悄然改变文物数字化的工作范式——从“人力密集型”转向“人机协同型”。
过去，年轻学者需要花费数年时间练习辨认古代手写体，而现在，他们可以把精力更多投入到语义解读、历史考证与跨文明比较中。AI承担了基础信息提取的任务，人类则专注于更高阶的认知劳动。
更重要的是，这次合作探索出一条极具参考价值的技术落地路径：以国产通用多模态大模型为底座，面向特定垂直领域做轻量化封装与工程优化。不需要动辄投入千万训练成本，也能在有限资源下创造出显著业务价值。
这条路尤其适合文博、古籍、中医药等拥有深厚专业积累但IT基础较弱的行业。它们不需要“通才型”大模型，而更需要“懂行”的小专家。
结语：让沉默的题记重新发声
如今，越来越多的模糊题记正在被重新“读懂”。那些曾被忽略的边角文字、夹缝注释、褪色签名，正通过 HunyuanOCR 的“眼睛”转化为可检索、可关联、可分析的数字资产。
这不是一次简单的技术替代，而是一场跨越千年的对话重启。当机器学会辨认古人留下的痕迹，文化的记忆便有了新的延续方式。
而这条路才刚刚开始。随着更多专用AI模型的涌现，我们或许终将迎来一个属于文化遗产的“数字重生”时代——在那里，每一粒像素都承载着文明的重量，每一次识别都是对遗忘的抵抗。
