前言¶
DeepSeek v4 系列模型目前仅支持文本输入。如果用户在对话中粘贴截图或照片,模型无法直接理解图像内容。dsh-vision-plugin 的作用是作为中间层:它将图像先发送给视觉模型(如 qwen3.7-plus, kimi-k3 等),将图像转录为文本,再将文本传递给主模型进行回答。这能让文本模型“看”到图片,并进行自然的交互。
身份信息¶
- 名称:dsh-vision-plugin
- 核心价值:为 DeepSeek Harness 的文本模型提供视觉分析能力。
- 所有者:Xin-Zhang-IceMan
- 分类:模型推理
- 许可证:MIT License
安装¶
安装该插件会将它注册到当前的 DSH 配置中,随 DSH 启动自动加载。
dsh plugin --profile web add dsh-vision-plugin
配置¶
在图片能被处理之前,需要在配置文件中声明当前模型支持图像输入。配置文件位于 ~/.dsh/settings.yaml,修改后支持热重载,无需重启。
以下示例声明 deepseek-v4-flash 和 deepseek-v4-pro 可以接收图片:
llm-pi-ai:
providers:
opencode-go:
apiKeyEnv: OPENCODE_GO_API_KEY
modelOverrides:
deepseek-v4-flash:
input: [text, image]
deepseek-v4-pro:
input: [text, image]
对于 DSH v0.1.0-rc.8+ 版本,内置的 deepseek-official 路由支持原生 Vision,模型需在 llm-deepseek 配置下声明 inputModalities,插件会自动识别。
核心功能¶
- 粘贴图片并提问:直接将图片粘贴到聊天窗口,切换到任意文本模型,即可询问图片内容。
- vision_analyze 工具:模型可以通过调用工具直接分析本地图片文件,支持传入可选的问题和指定的视觉模型。
- 设置页面:DSH 设置面板中新增“Vision Model”页面,用于管理默认的视觉模型,支持中英双语切换。
典型用法¶
场景一:对话中分析图片¶
在对话窗口中粘贴一张图片(例如 Clash Verge 的 Logo),切换到 deepseek-v4 等文本模型,输入问题“这是什么?”。插件会自动调用视觉模型转录图片内容,主模型根据转录结果进行回答。
场景二:工具调用分析¶
在对话中要求模型分析表格或代码截图,模型会自动调用 vision_analyze 工具。该工具接受本地图片路径、可选的提问以及可选的视觉模型覆盖参数。
注意事项¶
- 版本依赖:插件与 dsh v0.1.0-rc.8 及以上版本兼容,支持原生 Vision 路由。
- 配置生效:如果切换到未在
settings.yaml中声明图像能力的模型,粘贴图片可能会被拒绝。请确保所有可能使用的文本模型都已声明input: [text, image]。 - 状态持久化:设置页面中的视觉模型选择保存在浏览器的
localStorage中,重启 DSH 后会自动恢复。 - 语言跟随:设置页面的 UI 语言会跟随 DSH 的全局语言设置(中文或英文)。
生态链接¶
- GitHub 仓库:https://github.com/Xin-Zhang-IceMan/dsh-vision-plugin
- 插件目录:https://www.skillhub.cn/plugins/Xin-Zhang-IceMan/dsh-vision-plugin