本文详细解析了GLM 4.6V多模态大模型的图文混排能力，介绍了模型如何识别图片精确位置、处理多张图片输入并持续迭代优化。作者通过复刻相关代码，展示了多模态Agent的工作原理，强调模型从"读"信息到"看"信息的转变，为构建AI智能体提供了新思路。
上周是智谱的多模态开源周，从GLM 4.6v到Autoglm…
看到官方的博客，第一眼比较吸引我的，不是模型本身，是他们给的一个使用场景 -图文并排。
上传一份 PDF 论文，它能生成一篇图文混排的解读文章，而且效果非常好。图片位置精准，上下文衔接自然，完全不像是机械拼接的。
过去我们想做图文混排，都是预定义一些图片，让多模态大模型生成描述，再让LLM在写文章时结合图片描述，选择合适的图片url。
流程繁琐，效果一般（主要是模型看不到这些图）。
太久没用过多模态大模型了，感觉时代似乎变了~
Z.ai 已经上线了这个能力，所以我逆向了一下原理，复刻了一下，有不少收获，给家人们分享一下。
GLM 4.6V 是一个多模态原生智能体
我们可以看一下下边的视频。大概的步骤是，模型会先生成一个带工具槽位的初版，然后进行图片引用，调用裁剪工具，捞回来图片，最后完成终稿的撰写。
其实从Z.ai 服务请求日志，也可以看到具体的工具调用信息。
相当于类似一个ReAct Agent，调用工具截图相当于获取到observation，然后进行下一步的Action。
如果想做一个自由度没这么高的一个架构，类似下图：
基于这个模式，我复刻了一套代码。结果跟ZAI跑出来的结果基本一致。重点是复刻过程中，我发现了几个非常有意思的点，后文会详细介绍一下。
跑一篇20页的论文，大概消耗1毛5的样子。如果用量比较多，可以考虑智谱的GLM Coding Plan，20 元包月起，用量是同价位 Claude Code 的三倍。而且官方提供了一系列适配4.6v的MCP， 使用起来会更顺手。
三个有意思的能力
模型知道图片的精确位置
这是Glm4.6V 最让我惊讶的能力。模型不仅能理解图片内容，还能输出图片在页面上的坐标，比如前面调用图片裁剪工具，我让模型输出的格式如下：
[页码, [[x1, y1, x2, y2]], "图片标题"]需要注意的是：模型的输出坐标是千分位坐标（0-999 范围），需要按比例转换成像素坐标。 当然如果用官方mcp tools没这个烦恼。
def thousandth_to_pixel(coord, image_width, image_height): """千分位坐标转像素坐标""" x1 = int(coord[0] / 1000 * image_width) y1 = int(coord[1] / 1000 * image_height) x2 = int(coord[2] / 1000 * image_width) y2 = int(coord[3] / 1000 * image_height) return [x1, y1, x2, y2]为什么是千分位？因为不同分辨率的图片，像素坐标会变，但千分位坐标是相对的，更具通用性。
一次输入几十张图片
一篇 20 页的 PDF，转成图片后全部塞进去，模型能完整理解，128k确实不是吹的。
这让我想起不久前智谱的另一个工作Glyph：把文本渲染成图片，让视觉 token 承载更多信息。
传统的 token 扩展方式已经走到算力成本的天花板。与其硬扛百万级token的计算压力，不如让 AI看文字，而不是读文字。
所以过去我们头痛的解析、分块等操作，随着多模态模型的变强，似乎迎刃而解了。
可以基于裁剪结果持续迭代
获取到裁剪后的图片之后，如果只是简单的字符串替换，直接正则就够了。
但如果用VLM，在第二轮可以验证裁剪是不是正确，可以调整图片周围的文字，可以优化图文的排版位置。
GLM-4.6V 就是一个原生的 Agent。
最后
多模态时代的 Agent 和纯文本时代完全不一样。
模型不再只是读信息，而是看信息。它知道 Figure 2 在第 4 页的左上角，知道 Table 3 的边界在哪里，知道如何把这些视觉元素编排到文章中。
非常符合GLM4.6V的宣传语： 不止能看，更能执行。
如何学习AI大模型 ？
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓
CSDN粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取【保证100%免费】
读者福利：👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈
对于0基础小白入门：
如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
👉1.大模型入门学习思维导图👈
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。
对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）
👉4.大模型实战项目&项目源码👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）
👉5.大模型经典学习电子书👈
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）
👉6.大模型面试题&答案👈
截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）
为什么分享这些资料?
只要你是真心想学AI大模型，我这份资料就可以无偿分享给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！
这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
CSDN粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取【保证100%免费】
读者福利：👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈
