微调 Gemma 4 识别腾讯天御全系列验证码【解决方案-一个模型识别 滑块|文字点选|图标点选|空间点选】

教程

只要数据集多，就能微调出效果不错的多模态大模型。

这里使用unsloth工具，微调 Gemma4，官方教程地址：https://unsloth.ai/docs/zh/mo-xing/gemma-4/train

这里主要说数据集的组成格式：
流程：图片 + 指令 → 多模态模型 → 直接输出 JSON

{"messages":[{"role":"user","content":[{"type":"image","image":"captcha_001.png"},{"type":"text","text":"请识别该验证码任务，并输出需要点击的矩形框位置。"}]},{"role":"assistant","content":[{"type":"text","text":"{\"task\":\"text_click\",\"targets\":[{\"text\":\"春\",\"click_rect_point\":[56,84,126,178],\"order\":1}]}"}]}]}

测试效果

进入【无限识别 hypercalc】官网进行对接识别。https://www.hypercalc.cn