前言¶
在 DSH 插件生态里,有些会话需要处理本地图片:描述画面、识别文字、根据图片内容继续回答。DeepSeek Harness 可以接入插件,dsh-vision-tools 就是为此准备的一个视觉能力插件。它把本地图片交给 OpenAI 兼容视觉 API 理解,再让当前会话继续处理。
下面介绍它的核心能力、安装配置和使用方式。
这是什么¶
dsh-vision-tools 由 moon09300731 维护,许可证为 MIT。
它为 DSH 提供 vision_understand 全局工具,使所有会话都能调用 OpenAI 兼容视觉 API 理解本地图片。插件默认使用智谱 GLM-4.6V-Flash,并支持 zhipu、dashscope、siliconflow、openai 四家 provider 切换。
核心功能¶
下面列出的能力均来自插件资料:
vision_understand:调用 OpenAI 兼容视觉大模型 API,完成画面描述、文字识别和图片相关问题回答。- 全局可用:
vision_understand注册为全局工具,所有会话可用。 - 三种识图入口:粘贴截图、拖拽图片、点击按钮选择文件。
- 自动落盘:粘贴、拖拽、按钮入口会把图片保存到
$DSH_HOME/pasted-images/,并在输入框填入请识别这张图片:<路径>。 - 限流降级:主模型被限流时,可自动降级到
VISION_FALLBACK_MODEL或 provider 预设模型重试一次。 - 配置回退:支持
~/.dsh/vision.env全局配置,也支持项目目录.dsh-vision.env工作区回退配置;配置实时读取,改完无需重启。 - Web 入口:通过
POST /api/vision-paste路由落盘粘贴图片,并在 DSH web 输入框左侧注册“识图”按钮。
安装与启用¶
先执行下面的插件安装命令:
dsh plugin --profile web add dsh-vision-tools
安装完成后,重启 dsh web 使插件生效。
典型用法¶
下面是常见配置与操作路径。先创建全局配置文件:
VISION_PROVIDER=zhipu
VISION_API_KEY=你的APIKey
如果需要使用指定模型、接口地址或降级模型,可以继续补充:
VISION_BASE_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
VISION_MODEL=glm-4.6v-flash
VISION_FALLBACK_MODEL=glm-4v-flash
这里的 VISION_PROVIDER 可选值包括 zhipu、dashscope、siliconflow、openai。默认使用智谱 GLM-4.6V-Flash;如果主模型被限流,插件会尝试降级到 VISION_FALLBACK_MODEL 或 provider 预设模型重试一次。
配置完成后,有三种方式送入图片:
1、使用 Cmd/Ctrl+V 粘贴剪贴板截图。
2、将图片拖到输入框左侧的“识图”按钮。
3、点击“识图”按钮选择文件。
经过上面的步骤,图片会被保存到 $DSH_HOME/pasted-images/,输入框会填入 请识别这张图片:<路径>。发送后,agent 会自动调用 vision_understand 识别图片。
如果希望配置只对项目生效,可以在项目目录放置 .dsh-vision.env。该文件与 ~/.dsh/vision.env 使用相同格式,仅当前项目生效。
适用场景与注意¶
适合在 DSH web 会话中快速查看截图、识别图片文字或根据图片提问。使用之前建议注意这些边界:
- 图片会经外部视觉 API 出网,传输方式为 base64。如果图片包含敏感数据,可改用本地 OCR,例如
tesseract或paddleocr;也可以自建内网视觉服务,并用VISION_BASE_URL指向该服务。 vision.env包含 API Key,不要提交到 git。资料称本仓库.gitignore已忽略该文件。- 粘贴路由仅监听 DSH 本机端口,图片保存路径为
$DSH_HOME/pasted-images/。 - 限流自动降级仅限流类错误触发;密钥无效、参数错误等业务错误不降级,直接报错。
- 主模型与降级模型相同时,不会重复请求。
@deepseek-ai/dsh-tools由 DSH 宿主运行时自带,插件不将其声明为 dependencies,以避免 dsh-tools 双实例导致scheduler.prepare崩溃。- 插件以当前
dsh进程权限运行。安装前应检查源码与许可证。本插件许可证为 MIT。
链接¶
插件信息中给出的相关链接如下:
- 目录页:https://www.skillhub.cn/plugins/moon09300731/dsh-vision-tools
- GitHub:https://github.com/moon09300731/dsh-vision-tools
这样即可在 DSH 会话中接入本地图片理解能力。