前言¶
在使用 DeepSeek Harness (DSH) 时,如果会话模型不支持图片输入(如 DeepSeek 官方模型),DSH 会直接拦截消息并提示“当前模型不支持图片”。这限制了纯文本模型获取视觉信息的能力。dsh-vision-bridge 插件通过介入 DSH 的消息处理流程,将图片转换为工具调用指令,从而让不支持图片的模型也能通过视觉工具对图片进行分析。
插件简介¶
这是一个 DSH profile 插件包,由开发者 ShiraGawaAnri 维护。它旨在解决 DeepSeek 等纯文本模型无法直接处理图片输入的问题。通过调用视觉工具,插件绕过了原生的拦截机制,允许模型对图片进行识别并生成基于工具结果的回答。
核心功能¶
- 图片桥接处理:当模型不支持图片输入时,不再弹出原生拦截,而是调用配置的视觉工具(默认为
vision_glance)识别图片。 - 工作区实体化:在会话工作区创建
.dsh-vision-bridge/目录,将图片字节实体化。 - 灵活的预设控制:支持自定义提示词,并支持排除预设(如默认的
minimal)。匹配排除预设的会话将保留原生的“不支持图片”拦截文本。 - 跨平台支持:适配 Windows 和 WSL/Ubuntu 平台,利用 Shell 执行图片处理。
安装与启用¶
安装插件需要先解压下载的包,然后通过命令将其添加到 DSH profile 中。
unzip dsh-vision-bridge.zip -d dsh-vision-bridge
dsh plugin --profile web add ./dsh-vision-bridge
配置与用法¶
安装后,插件通过 DSH 设置服务持久化配置。在 DSH 设置中找到“视觉桥接”选项进行配置:
- 启用开关:默认开启。关闭后将恢复 DSH 原生的拦截行为。
- 视觉工具选择:默认使用
vision_glance。系统会根据当前 agent 的工具集进行模糊匹配,也可选择glance/ground/detect等工具。 - 自定义提示:可选字段,用于向视觉工具传递额外的指令。
- 排除预设:配置多选和通配符模式。默认包含
minimal预设,匹配的会话将不执行桥接。 - 前置条件:确保会话中加载了
vision-toolsskill(或提供其他视觉工具),否则插件会退化或显示提示信息。
注意事项¶
- Skill 依赖:插件必须依赖
vision-toolsskill 提供视觉工具,否则无法正常执行桥接。 - 进程级影响:插件通过 Admission patch 修改
llm.resolveModelInfo,这会影响当前 DSH 进程下的所有会话。被排除预设的会话虽然不会执行桥接,但可能无法显示原生的错误提示,而是以文本形式呈现。 - 适配器限制:桥接适配器禁止桥接模型接收图片块,图片仅作为附件保留在工作区中。
- 许可证:插件使用 MIT 许可证,安装前建议检查源码。
结语¶
该插件通过工具调用链路,实现了“以文本代图片”的桥接逻辑,使 DeepSeek 等文本模型具备了视觉分析能力。对于需要在文本模型中处理视觉信息的场景,这是一个必要的补充工具。更多细节请参考 插件目录 或 GitHub 仓库。