前言¶
调用大模型时经常遇到一种情况:主模型本身不接受图像输入,但任务里确实需要理解图片。用户上传了截图或照片,需要识别图中文字;任务是描述一张图、分析图表、读取表格内容,或者要求“看这张图作答”。这时候常规做法是自己找 OCR 服务或视觉模型拼一条调用链,参数、鉴权、结果回填都要自己处理。下面介绍的 Skill「视觉识别辅助」就是把这一步封装成标准调用,识别结果以文本返回,主模型继续往下处理即可。
这是什么¶
视觉识别辅助是一个 community 来源的 Skill,坐标 @user_476accef/vision-recognition,由 user_476accef 发布维护,版本 1.0.0,分类 ai-agent。
它解决的问题很具体:当 AI 主模型不支持图像输入,而任务需要理解图片内容时,由这个 Skill 调用 GLM-4.6V 视觉模型识别图片,把识别结果作为文本返回给主模型继续处理。主模型不需要改动输入方式,拿到的仍是普通文本。
Skill 声明了 requires_api_key=true,即使用前需要提供 API Key。
核心功能¶
根据 SkillHub 页面上的简介,能力范围如下:
1、图片识别:对用户上传的图片、截图、照片进行内容识别。
2、OCR:从图中提取文字,适合截图里的文字、带文字的图片。
3、图像描述与分析:描述图片内容、分析图像。
4、表格与图表识别:识别图中的表格、图表结构。
5、看图作答:把识别结果交给主模型,让主模型基于图片内容继续回答问题。
触发信号在简介里写得很明确:用户提供了图片路径或截图,或者任务里出现“看这张图”“识别”“OCR”“图中是什么”“描述图片”“读取图片内容”这类视觉需求。符合其中任一条,就进入这个 Skill 的处理范围。
安装与启用¶
官方页面没有公开具体的安装命令、安装目录或配置文件字段,这里不做推测,实际接入方式以官方地址页面的说明为准。
两点需要提前准备:
1、API Key。Skill 标签为 requires_api_key=true,需要先准备好 GLM-4.6V 的调用凭证,并在启用 Skill 时配置好。
2、图片可达。既然触发条件是用户给出图片路径或截图,要保证主模型运行时能够访问到该路径或拿到图片内容,识别这一步才能执行。
主流编辑器和 CLI 环境对该 Skill 的支持情况,官方资料中没有分别说明,建议安装前先打开官方页面确认当前环境的接入方式。
典型用法¶
官方简介没有给出逐命令可复现的调用示例,下面按简介描述的使用方式整理调用思路,供对接时参考。
1、主模型判断任务出现视觉需求,或用户已给出图片路径。
2、把图片交给视觉识别辅助,由它调用 GLM-4.6V 完成识别。
3、拿到以文本形式返回的识别结果,作为上下文继续交给主模型处理。
例如用户上传一张含表格的截图,并问“这张表里第三列的数字是多少”,处理链路是:识别截图中的表格内容 → 得到文本化的表格数据 → 主模型基于这段数据作答。这类截图、照片、图表场景与 Skill 声明的能力一一对应。
适用场景与注意¶
适合的场景:主模型是纯文本模型、但任务需要处理图片;需要 OCR;需要描述或分析图像;需要识别表格图表;需要看图作答。
需要注意的几点:
1、来源是 community,不是官方出品,能力描述以 Skill 简介为准,实际效果建议先用一两张图验证。
2、需要 API Key,且识别依赖 GLM-4.6V,调用会消耗该模型的额度,批量使用时要考虑成本。
3、SkillHub 页面当前显示评分 100000、下载 1399、安装 0。下载量已有规模但安装量为 0,说明目前还没有实际安装数据可参考,稳定性需要自行验证。
4、识别结果以文本返回,复杂版面的还原度取决于视觉模型本身,图表、手写体等场景建议逐项检查返回内容。
结尾¶
视觉识别辅助的价值在于把“主模型不会看图”这个缺口变成一个标准调用:触发信号明确,识别结果以文本返回,主模型无需改变输入方式即可继续处理。如果你的主模型是纯文本模型、但任务里经常遇到图片,可以先拿一张截图试一遍完整链路。
官方地址:https://api.skillhub.cn/user_476accef/vision-recognition