dsh-vision:为 DeepSeek Harness 增加识图工具的插件

前言

在 DeepSeek Harness(DSH)里做智能体时,一个常见问题是:主模型只处理文本,遇到本地图片路径或网络图片 URL 时无法直接理解。已有做法通常是额外写脚本调用多模态模型接口,再把文字结果喂回对话。DSH 的「一切皆插件」思路可以把这类能力打包成 bundle 插件,注册成工具给 agent 调用。

下面介绍 dsh-vision。它把图片发送给阿里云百炼或智谱多模态模型,返回中文文字描述,用于给不具备原生识图能力的 DSH 模型提供识图能力。

这是什么

dsh-vision 是 Terry12138qy 维护的 DSH bundle 插件,许可证为 MIT。它把 asuojun/claude-vision-skill 的识图主流程移植适配为 DSH 插件,并注册一个 vision 工具。

这个插件解决的是 DSH 对话中“看到图片路径,但主模型不能直接理解图片”的问题。它会把图片读取、base64 编码、调用多模态接口、返回文字描述这几步封装起来,供 agent 或 Code Mode 调用。

核心功能

dsh-vision 当前已核实的能力包括:

  • 接受本地图片路径或网络 URL。
  • 把图片发送给多模态大模型,返回中文文字描述。
  • 主模型为阿里云百炼(DashScope)qwen3.5-omni-plus
  • 调用失败时自动切换智谱 glm-4.6v-flash 备用模型并重试。
  • 失败原因包括额度用尽、欠费、限流。
  • 打包为 DSH bundle 插件,注册 vision 工具。
  • Code Mode 中可通过 await tools.vision(...) 调用。
  • 支持 exec.signal 取消。
  • 配置优先级为环境变量 > cordis.patch.yml config > 默认值。

安装与启用

先执行安装命令:

dsh plugin --profile web add github:Terry12138qy/dsh-vision

如果使用本地路径安装:

dsh plugin --profile web add file:/绝对/路径/dsh-vision

安装后需要重启 dsh web 才能让插件生效。

配置

密钥推荐通过环境变量配置,避免密钥进入仓库;也可以编辑 cordis.patch.ymlconfig。环境变量优先于 cordis.patch.ymlconfig

用途 环境变量 config 字段
主模型 API Key DASHSCOPE_API_KEY apiKey
主模型 Base URL DASHSCOPE_BASE_URL baseUrl
主模型名 VISION_MODEL model
备用模型 API Key FALLBACK_API_KEY fallbackApiKey
备用模型 Base URL FALLBACK_BASE_URL fallbackBaseUrl
备用模型名 FALLBACK_MODEL fallbackModel

主模型与备用模型的 API Key、Base URL、模型名都可以按上述字段配置。配置完成后,插件会优先使用环境变量中的值。

典型用法

配置好后,直接在对话中发送图片路径或 URL,agent 会调用 vision 工具。示例:

帮我看下这张图 C:\path\to\image.png

也可以在 Code Mode 中直接调用:

await tools.vision(...)

当主模型调用失败时,插件会切换备用模型并重试,最终返回文字描述。

适用场景与注意

dsh-vision 适合这类场景:DSH 中的主模型不直接处理图像,但需要把图片转成文字描述,再用于后续问答、总结、代码分析或文档整理。

使用前需要注意:

  • 插件以当前 dsh 进程权限运行,安装前应检查源码、依赖和许可证。
  • 本适配代码采用 MIT License。
  • lib/vision.js 的识图主流程移植自 asuojun/claude-vision-skill,使用时需保留其署名并遵守原始项目要求。
  • 密钥建议放在环境变量中,不要把 API Key 写进仓库。
  • 如果你后续发布到 GitHub,记得给仓库添加 dsh-plugin 主题,方便被 DSH 生态发现。

结尾

dsh-vision 的价值在于把识图流程封装成 DSH 可安装、可调用的 vision 工具,让不具备原生识图能力的模型也能借助多模态模型完成看图任务。插件目录页:https://www.skillhub.cn/plugins/Terry12138qy/dsh-vision,GitHub 仓库:https://github.com/Terry12138qy/dsh-vision。社区目录是独立站点,不是官方应用商店,也不与 DeepSeek / 幻方构成官方从属关系。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜