dsh-vision-bridge:DeepSeek Harness 通用视觉桥接

在 DeepSeek Harness (DSH) 中,当与纯文本聊天模型交互时,用户无法原生附加图像。从 DSH 0.1.2-alpha.2+ 版本开始,核心会话控制器执行严格的模态检查,如果当前模型不支持图像输入,会直接拒绝附件。dsh-vision-bridge 是一个运行时中介插件,通过拦截和重写图像块,使得文本模型能够处理视觉内容。

核心功能

该插件提供以下功能,允许在纯文本模型上使用视觉能力:

  • 服务器端模态桥接 (v0.5.3+):通过装饰 ctx.llm.resolveModelInfo 和 ctx.llm.listModels,使会话控制器接受所有模型的图像附件。
  • 自动图像重写:通过 agent/pre-step 和 llm/stream 拦截图像块,将其路由至配置的视觉模型,接收描述性合成文本,并将其重写为文本上下文(例如 [The user attached an image. Description: ...])后再传递给文本模型。
  • 原生透传:自动检测原生支持视觉的模型,允许图像直接透传而不进行重写。
  • 丰富的视觉工具套件:暴露约 40 个专用工具,包括 OCR、视觉问答 (VQA)、定位、UI 流程、共识和更多功能。
  • 多通道端点路由:支持 dsh-catalog、OpenAI 兼容、Ollama 和 Webhook 端点,并支持故障转移。
  • 高性能 LRU 描述缓存:按哈希缓存视觉响应,消除冗余 API 调用并节省配额。

安装

在终端中运行以下命令安装插件:

dsh plugin --profile web add @goodandready/dsh-vision-bridge

安装完成后,必须重启 DSH Web UI。配置卡片可在 设置 -> 插件 -> vision-bridge 中找到。

配置与使用

插件支持三种操作模式:

  1. hybrid(默认):在聊天轮次中自动描述附加图像,同时保留所有 ~40 个显式视觉工具供后续推理使用。
  2. llm:纯自动重写模式,图像透明转换为文本上下文;工具仍可调用。
  3. tools:禁用自动重写,聊天模型需显式调用 describe_image 或 OCR 工具。

配置路径:Settings → Plugins → vision-bridge。

工具集概览

插件提供约 40 个视觉相关工具,涵盖以下类别:

  • 核心:describe_image、read_image、inspect_image
  • 几何与检测:vision_ground、vision_crop、vision_detect 等
  • OCR 与文本:vision_ocr、vision_ocr_local、vision_long_ocr 等
  • 结构化与 UI:vision_describe_structured、vision_vqa、vision_ui_layout 等
  • 文档与情报:vision_extract_formula、vision_extract_table、vision_scan_barcode 等
  • 场景与共识:vision_ui_flow、vision_consensus、vision_memory_search 等

生态背景

DeepSeek Harness 的核心理念是“一切皆插件”。该插件维护者位于社区目录(skillhub.cn),与 DeepSeek 官方无官方隶属关系。

注意事项:
* 需要安装 Node.js 20+ 环境。
* 安装后务必重启 Web UI。
* 插件基于 MIT 许可证开源。

项目地址:GitHub

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜