前言¶
用纯文本模型干活时经常遇到一种尴尬:用户发来一张截图、一份扫描件、一张折线图,模型本身读不到,只能让调用方先做 OCR 或图像理解,再把结果塞回去。结果是链路变长、每多一类输入就要多接一套服务,而且各工具返回格式不统一,主模型很难稳定消费。
ds-vision-skill 就是为解决这个问题而存在的:它把图片理解、文档解析、文字识别三类视觉任务收拢到一个 Skill 里,内部按任务类型自动路由到对应工具,统一输出标准 JSON,再交给主模型推理和总结。下面介绍它的定位、路由机制和用法。
这是什么¶
ds-vision-skill 是一个基于通用 SKILL.md 格式编写的 Agent Skill,坐标 @user_f1d0538a/ds-vision-skill,当前版本 0.4.1,来源标记为 community,发布者为 user_f1d0538a,分类 ai-agent。
它解决的问题很单一:让不具备视觉能力的文本推理模型,能够消费用户提供的各类视觉输入,并在本地完成路由与格式转换,不需要调用方自己拼接多个外部服务。
核心功能¶
触发条件¶
当用户提供图片、截图、照片、图表、UI 截图、代码截图、数学题图片、扫描件、PDF 或文档,并明确提出描述、理解、推理、阅读、OCR、提取文字、解析图表、分析内容等要求时,这个 Skill 生效。
它不做通用的闲聊式看图,而是围绕「把视觉输入转成主模型可用的结构化信息」这一目标组织。
路由机制¶
默认入口是 scripts/vision-router.ps1。路由逻辑按输入类型分三条路径:
- 图片理解:先走免费竞速池 GLM/Agnes,再走 custom-1、custom-2、custom-3、local。也就是说优先尝试不收费的通道,失败或不可用时才回落到自定义端点和本地模型。
- 文档解析:走 MinerU。适用于 PDF、扫描件、排版文档这类需要版面与结构还原的输入。
- 纯文字识别:走 Baidu OCR 或 Windows OCR。适用于只需要把图上的字取出来、不需要理解版式的场景。
这个分层的价值在于:同样是「这张图里有文字」,如果用户要的是逐字提取,就不必跑一遍完整的图片理解模型;如果用户要的是图表趋势或 UI 布局分析,也不至于把版面解析工具拉起来。
统一的输出格式¶
所有底层工具的输出都会被转成标准 JSON,再交给主模型做推理和总结。这一点是它比直接调用单个 OCR 接口更实用的原因:主模型侧只需要处理一种结构,不需要为每个工具写不同的解析分支。
安装与启用¶
安装命令、目录结构和具体配置字段需要以官方页面为准。目前可核实的信息是标签 requires_api_key=false,即该 Skill 本身不要求强制 API Key,但路由到 custom-1/custom-2/custom-3 等自定义端点时,端点自身的鉴权要求由相应服务决定。
启用方式遵循通用 SKILL.md 格式:把 Skill 放入 Agent 可识别的 Skill 目录,由 Agent 在遇到上述触发条件时加载。由于该 Skill 的入口脚本是 PowerShell(vision-router.ps1),执行环境需要能跑 PowerShell 脚本。
需要提醒的是,官方页面目前显示安装数为 0,说明它还没有被大规模部署过,踩坑时可参考的资料不多。
典型用法¶
下面介绍几类官方资料中明确列出的输入场景,以及路由会怎么选。
- 用户上传 UI 截图,要求「这个页面有哪些元素、按钮在哪里」。属于图片理解,走 GLM/Agnes 竞速池,失败后回落 custom 端点或 local。
- 用户上传一份 PDF,要求「总结第 3 页到第 5 页的内容」。属于文档解析,走 MinerU,先还原版面与文字结构,再交主模型总结。
- 用户上传一张手写笔记照片,要求「把上面的字转成文字」。属于纯文字识别,走 Baidu OCR 或 Windows OCR。
- 用户上传一张折线图,要求「对比两条曲线的增长趋势」。属于图片理解,走竞速池,由主模型基于结构化输出做推理。
上面四类都遵循同一条链路:视觉工具输出 JSON → 主模型推理 → 主模型给出最终回答。调用方不需要关心中间具体是哪个模型在跑。
适用场景与注意¶
适合的场景:调用方使用的是纯文本推理模型,需要在同一套对话里处理图片、截图、PDF、扫描件等多种视觉输入,并且不希望为每类输入单独接一套服务。
需要注意的地方:
- 依赖 PowerShell 脚本做路由,Windows 环境最顺;在 Linux 或 macOS 上需要确认 PowerShell 可用性,这一点官方资料未说明。
- 免费竞速池 GLM/Agnes 的可用性和速率限制不由这个 Skill 控制,高并发或长任务时需要自行观察回落行为。
- MinerU 负责文档解析,对复杂排版、公式、表格的还原效果取决于 MinerU 本身的处理能力,Skill 只负责把任务路由过去。
- Baidu OCR 与 Windows OCR 是两条可选路径,实际走哪条取决于环境与配置,官方资料未给出明确的优先级说明。
- 版本 0.4.1 仍属早期,路由规则和工具清单后续可能调整。
结尾¶
ds-vision-skill 的价值不在提供了多少视觉模型,而在于把「按输入类型选工具、统一输出格式」这件事固化成一个可复用的 Skill。对于已经有文本推理主力模型、只是缺视觉入口的开发者,它比自己拼一套多服务链路要省事。
官方地址:https://api.skillhub.cn/user_f1d0538a/ds-vision-skill
SkillHub 页面:https://www.skillhub.cn/skills/user_f1d0538a/ds-vision-skill