前言¶
DeepSeek Harness(DSH)通过插件机制扩展功能。在多模态对话场景中,用户常需上传图片并人工描述其内容,这增加了操作成本且描述可能不精确。dsh-vision-plugin 解决了这个问题,通过在发送消息前自动转述图片内容并注入描述,降低了多模态交互的门槛。
插件介绍¶
该插件由开发者 zcma11 维护,属于模型推理类别。其核心逻辑是:用户在聊天框上传或粘贴图片,发送时通过视觉模型(DashScope)或 Windows 离线 OCR 转述图片内容,并将描述自动插入到消息开头。
安装与启用¶
使用 DSH 官方提供的插件管理命令进行安装:
npx @deepseek-ai/dsh plugin --profile web add dsh-vision-plugin
注意事项:如果在使用 pnpm 9 时遇到 ERR_PNPM_ADDING_TO_ROOT 错误,需要在命令末尾追加 --workspace-root 参数。
使用方法¶
上传与粘贴图片¶
在聊天输入框的工具栏中,点击对应图标选择图片,或直接使用 Ctrl+V 粘贴。支持的格式包括截图(如 QQ 截图、系统截图),BMP 图片会自动转换为 PNG。
配置视觉模型¶
由于纯 OCR 模式不依赖外部模型,仅视觉转述模式需要配置。请进入 设置 -> 通用 -> 视觉转述模型,从下拉框中选择支持图片输入的模型(例如 dashscope/qwen3.6-plus),并确保已配置 DASHSCOPE_API_KEY。
发送与转述¶
-
选择模式:
- 点击 📝(纯 OCR) 按钮:仅调用 Windows 内置 OCR 引擎,离线运行。
- 点击 🖼️(视觉转述) 按钮 或 粘贴图片:仅调用视觉模型进行转述。 -
发送过程:
- 转述期间,输入框上方预览条会显示“⏳ 正在解析图片…”,此时会拦截新的发送请求。
- 转述成功后,消息内容会自动以【解析了提供图片,图片内容是<描述>】开头,后接你的原文,预览条随后自动清除。
- 转述失败时,消息不会发送,顶部会弹出红色提示,明确区分是“视觉模型调用失败”还是“OCR 识别失败”。
适用场景与注意事项¶
- 适用场景:适合需要在 DSH 中进行多模态对话的开发者或用户。
- 系统依赖:纯 OCR 功能依赖 Windows 10+ 及 PowerShell 5.1,且插件在 Windows 环境下验证。
- 安全与存储:图片仅以 base64 格式存储在内存中,不落盘,符合安全隔离要求。
- 模式路由:插件采用严格路由策略,OCR 按钮仅 OCR,视觉按钮/粘贴仅视觉模型,不做自动降级处理。
结语¶
dsh-vision-plugin 通过自动化图片解析与描述注入,简化了多模态交互流程。更多细节与源码可访问 GitHub 仓库。