在 DeepSeek Harness (DSH) 中,当与纯文本聊天模型交互时,用户无法原生附加图像。从 DSH 0.1.2-alpha.2+ 版本开始,核心会话控制器执行严格的模态检查,如果当前模型不支持图像输入,会直接拒绝附件。dsh-vision-bridge 是一个运行时中介插件,通过拦截和重写图像块,使得文本模型能够处理视觉内容。
核心功能¶
该插件提供以下功能,允许在纯文本模型上使用视觉能力:
- 服务器端模态桥接 (v0.5.3+):通过装饰
ctx.llm.resolveModelInfo和ctx.llm.listModels,使会话控制器接受所有模型的图像附件。 - 自动图像重写:通过
agent/pre-step和llm/stream拦截图像块,将其路由至配置的视觉模型,接收描述性合成文本,并将其重写为文本上下文(例如[The user attached an image. Description: ...])后再传递给文本模型。 - 原生透传:自动检测原生支持视觉的模型,允许图像直接透传而不进行重写。
- 丰富的视觉工具套件:暴露约 40 个专用工具,包括 OCR、视觉问答 (VQA)、定位、UI 流程、共识和更多功能。
- 多通道端点路由:支持
dsh-catalog、OpenAI 兼容、Ollama 和 Webhook 端点,并支持故障转移。 - 高性能 LRU 描述缓存:按哈希缓存视觉响应,消除冗余 API 调用并节省配额。
安装¶
在终端中运行以下命令安装插件:
dsh plugin --profile web add @goodandready/dsh-vision-bridge
安装完成后,必须重启 DSH Web UI。配置卡片可在 设置 -> 插件 -> vision-bridge 中找到。
配置与使用¶
插件支持三种操作模式:
- hybrid(默认):在聊天轮次中自动描述附加图像,同时保留所有 ~40 个显式视觉工具供后续推理使用。
- llm:纯自动重写模式,图像透明转换为文本上下文;工具仍可调用。
- tools:禁用自动重写,聊天模型需显式调用
describe_image或 OCR 工具。
配置路径:Settings → Plugins → vision-bridge。
工具集概览¶
插件提供约 40 个视觉相关工具,涵盖以下类别:
- 核心:
describe_image、read_image、inspect_image - 几何与检测:
vision_ground、vision_crop、vision_detect等 - OCR 与文本:
vision_ocr、vision_ocr_local、vision_long_ocr等 - 结构化与 UI:
vision_describe_structured、vision_vqa、vision_ui_layout等 - 文档与情报:
vision_extract_formula、vision_extract_table、vision_scan_barcode等 - 场景与共识:
vision_ui_flow、vision_consensus、vision_memory_search等
生态背景¶
DeepSeek Harness 的核心理念是“一切皆插件”。该插件维护者位于社区目录(skillhub.cn),与 DeepSeek 官方无官方隶属关系。
注意事项:
* 需要安装 Node.js 20+ 环境。
* 安装后务必重启 Web UI。
* 插件基于 MIT 许可证开源。
项目地址:GitHub