前言¶
在 DeepSeek Harness(DSH)里做智能体时,一个常见问题是:主模型只处理文本,遇到本地图片路径或网络图片 URL 时无法直接理解。已有做法通常是额外写脚本调用多模态模型接口,再把文字结果喂回对话。DSH 的「一切皆插件」思路可以把这类能力打包成 bundle 插件,注册成工具给 agent 调用。
下面介绍 dsh-vision。它把图片发送给阿里云百炼或智谱多模态模型,返回中文文字描述,用于给不具备原生识图能力的 DSH 模型提供识图能力。
这是什么¶
dsh-vision 是 Terry12138qy 维护的 DSH bundle 插件,许可证为 MIT。它把 asuojun/claude-vision-skill 的识图主流程移植适配为 DSH 插件,并注册一个 vision 工具。
这个插件解决的是 DSH 对话中“看到图片路径,但主模型不能直接理解图片”的问题。它会把图片读取、base64 编码、调用多模态接口、返回文字描述这几步封装起来,供 agent 或 Code Mode 调用。
核心功能¶
dsh-vision 当前已核实的能力包括:
- 接受本地图片路径或网络 URL。
- 把图片发送给多模态大模型,返回中文文字描述。
- 主模型为阿里云百炼(DashScope)
qwen3.5-omni-plus。 - 调用失败时自动切换智谱
glm-4.6v-flash备用模型并重试。 - 失败原因包括额度用尽、欠费、限流。
- 打包为 DSH bundle 插件,注册
vision工具。 - Code Mode 中可通过
await tools.vision(...)调用。 - 支持
exec.signal取消。 - 配置优先级为环境变量 >
cordis.patch.ymlconfig > 默认值。
安装与启用¶
先执行安装命令:
dsh plugin --profile web add github:Terry12138qy/dsh-vision
如果使用本地路径安装:
dsh plugin --profile web add file:/绝对/路径/dsh-vision
安装后需要重启 dsh web 才能让插件生效。
配置¶
密钥推荐通过环境变量配置,避免密钥进入仓库;也可以编辑 cordis.patch.yml 的 config。环境变量优先于 cordis.patch.yml 的 config。
| 用途 | 环境变量 | config 字段 |
|---|---|---|
| 主模型 API Key | DASHSCOPE_API_KEY |
apiKey |
| 主模型 Base URL | DASHSCOPE_BASE_URL |
baseUrl |
| 主模型名 | VISION_MODEL |
model |
| 备用模型 API Key | FALLBACK_API_KEY |
fallbackApiKey |
| 备用模型 Base URL | FALLBACK_BASE_URL |
fallbackBaseUrl |
| 备用模型名 | FALLBACK_MODEL |
fallbackModel |
主模型与备用模型的 API Key、Base URL、模型名都可以按上述字段配置。配置完成后,插件会优先使用环境变量中的值。
典型用法¶
配置好后,直接在对话中发送图片路径或 URL,agent 会调用 vision 工具。示例:
帮我看下这张图 C:\path\to\image.png
也可以在 Code Mode 中直接调用:
await tools.vision(...)
当主模型调用失败时,插件会切换备用模型并重试,最终返回文字描述。
适用场景与注意¶
dsh-vision 适合这类场景:DSH 中的主模型不直接处理图像,但需要把图片转成文字描述,再用于后续问答、总结、代码分析或文档整理。
使用前需要注意:
- 插件以当前
dsh进程权限运行,安装前应检查源码、依赖和许可证。 - 本适配代码采用 MIT License。
lib/vision.js的识图主流程移植自asuojun/claude-vision-skill,使用时需保留其署名并遵守原始项目要求。- 密钥建议放在环境变量中,不要把 API Key 写进仓库。
- 如果你后续发布到 GitHub,记得给仓库添加
dsh-plugin主题,方便被 DSH 生态发现。
结尾¶
dsh-vision 的价值在于把识图流程封装成 DSH 可安装、可调用的 vision 工具,让不具备原生识图能力的模型也能借助多模态模型完成看图任务。插件目录页:https://www.skillhub.cn/plugins/Terry12138qy/dsh-vision,GitHub 仓库:https://github.com/Terry12138qy/dsh-vision。社区目录是独立站点,不是官方应用商店,也不与 DeepSeek / 幻方构成官方从属关系。