dsh-vision-tools:给 DSH 会话增加图片理解能力

前言

在 DSH 插件生态里,有些会话需要处理本地图片:描述画面、识别文字、根据图片内容继续回答。DeepSeek Harness 可以接入插件,dsh-vision-tools 就是为此准备的一个视觉能力插件。它把本地图片交给 OpenAI 兼容视觉 API 理解,再让当前会话继续处理。

下面介绍它的核心能力、安装配置和使用方式。

这是什么

dsh-vision-toolsmoon09300731 维护,许可证为 MIT。

它为 DSH 提供 vision_understand 全局工具,使所有会话都能调用 OpenAI 兼容视觉 API 理解本地图片。插件默认使用智谱 GLM-4.6V-Flash,并支持 zhipudashscopesiliconflowopenai 四家 provider 切换。

核心功能

下面列出的能力均来自插件资料:

  • vision_understand:调用 OpenAI 兼容视觉大模型 API,完成画面描述、文字识别和图片相关问题回答。
  • 全局可用:vision_understand 注册为全局工具,所有会话可用。
  • 三种识图入口:粘贴截图、拖拽图片、点击按钮选择文件。
  • 自动落盘:粘贴、拖拽、按钮入口会把图片保存到 $DSH_HOME/pasted-images/,并在输入框填入 请识别这张图片:<路径>
  • 限流降级:主模型被限流时,可自动降级到 VISION_FALLBACK_MODEL 或 provider 预设模型重试一次。
  • 配置回退:支持 ~/.dsh/vision.env 全局配置,也支持项目目录 .dsh-vision.env 工作区回退配置;配置实时读取,改完无需重启。
  • Web 入口:通过 POST /api/vision-paste 路由落盘粘贴图片,并在 DSH web 输入框左侧注册“识图”按钮。

安装与启用

先执行下面的插件安装命令:

dsh plugin --profile web add dsh-vision-tools

安装完成后,重启 dsh web 使插件生效。

典型用法

下面是常见配置与操作路径。先创建全局配置文件:

VISION_PROVIDER=zhipu
VISION_API_KEY=你的APIKey

如果需要使用指定模型、接口地址或降级模型,可以继续补充:

VISION_BASE_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
VISION_MODEL=glm-4.6v-flash
VISION_FALLBACK_MODEL=glm-4v-flash

这里的 VISION_PROVIDER 可选值包括 zhipudashscopesiliconflowopenai。默认使用智谱 GLM-4.6V-Flash;如果主模型被限流,插件会尝试降级到 VISION_FALLBACK_MODEL 或 provider 预设模型重试一次。

配置完成后,有三种方式送入图片:

1、使用 Cmd/Ctrl+V 粘贴剪贴板截图。
2、将图片拖到输入框左侧的“识图”按钮。
3、点击“识图”按钮选择文件。

经过上面的步骤,图片会被保存到 $DSH_HOME/pasted-images/,输入框会填入 请识别这张图片:<路径>。发送后,agent 会自动调用 vision_understand 识别图片。

如果希望配置只对项目生效,可以在项目目录放置 .dsh-vision.env。该文件与 ~/.dsh/vision.env 使用相同格式,仅当前项目生效。

适用场景与注意

适合在 DSH web 会话中快速查看截图、识别图片文字或根据图片提问。使用之前建议注意这些边界:

  • 图片会经外部视觉 API 出网,传输方式为 base64。如果图片包含敏感数据,可改用本地 OCR,例如 tesseractpaddleocr;也可以自建内网视觉服务,并用 VISION_BASE_URL 指向该服务。
  • vision.env 包含 API Key,不要提交到 git。资料称本仓库 .gitignore 已忽略该文件。
  • 粘贴路由仅监听 DSH 本机端口,图片保存路径为 $DSH_HOME/pasted-images/
  • 限流自动降级仅限流类错误触发;密钥无效、参数错误等业务错误不降级,直接报错。
  • 主模型与降级模型相同时,不会重复请求。
  • @deepseek-ai/dsh-tools 由 DSH 宿主运行时自带,插件不将其声明为 dependencies,以避免 dsh-tools 双实例导致 scheduler.prepare 崩溃。
  • 插件以当前 dsh 进程权限运行。安装前应检查源码与许可证。本插件许可证为 MIT。

链接

插件信息中给出的相关链接如下:

  • 目录页:https://www.skillhub.cn/plugins/moon09300731/dsh-vision-tools
  • GitHub:https://github.com/moon09300731/dsh-vision-tools

这样即可在 DSH 会话中接入本地图片理解能力。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye