dsh-vision-bridge:DeepSeek Harness 通用視覺橋接

在 DeepSeek Harness (DSH) 中,當與純文本聊天模型交互時,用戶無法原生附加圖像。從 DSH 0.1.2-alpha.2+ 版本開始,核心會話控制器執行嚴格的模態檢查,如果當前模型不支持圖像輸入,會直接拒絕附件。dsh-vision-bridge 是一個運行時中介插件,通過攔截和重寫圖像塊,使得文本模型能夠處理視覺內容。

核心功能

該插件提供以下功能,允許在純文本模型上使用視覺能力:

  • 服務器端模態橋接 (v0.5.3+):通過裝飾 ctx.llm.resolveModelInfo 和 ctx.llm.listModels,使會話控制器接受所有模型的圖像附件。
  • 自動圖像重寫:通過 agent/pre-step 和 llm/stream 攔截圖像塊,將其路由至配置的視覺模型,接收描述性合成文本,並將其重寫爲文本上下文(例如 [The user attached an image. Description: ...])後再傳遞給文本模型。
  • 原生透傳:自動檢測原生支持視覺的模型,允許圖像直接透傳而不進行重寫。
  • 豐富的視覺工具套件:暴露約 40 個專用工具,包括 OCR、視覺問答 (VQA)、定位、UI 流程、共識和更多功能。
  • 多通道端點路由:支持 dsh-catalog、OpenAI 兼容、Ollama 和 Webhook 端點,並支持故障轉移。
  • 高性能 LRU 描述緩存:按哈希緩存視覺響應,消除冗餘 API 調用並節省配額。

安裝

在終端中運行以下命令安裝插件:

dsh plugin --profile web add @goodandready/dsh-vision-bridge

安裝完成後,必須重啓 DSH Web UI。配置卡片可在 設置 -> 插件 -> vision-bridge 中找到。

配置與使用

插件支持三種操作模式:

  1. hybrid(默認):在聊天輪次中自動描述附加圖像,同時保留所有 ~40 個顯式視覺工具供後續推理使用。
  2. llm:純自動重寫模式,圖像透明轉換爲文本上下文;工具仍可調用。
  3. tools:禁用自動重寫,聊天模型需顯式調用 describe_image 或 OCR 工具。

配置路徑:Settings → Plugins → vision-bridge。

工具集概覽

插件提供約 40 個視覺相關工具,涵蓋以下類別:

  • 核心:describe_image、read_image、inspect_image
  • 幾何與檢測:vision_ground、vision_crop、vision_detect 等
  • OCR 與文本:vision_ocr、vision_ocr_local、vision_long_ocr 等
  • 結構化與 UI:vision_describe_structured、vision_vqa、vision_ui_layout 等
  • 文檔與情報:vision_extract_formula、vision_extract_table、vision_scan_barcode 等
  • 場景與共識:vision_ui_flow、vision_consensus、vision_memory_search 等

生態背景

DeepSeek Harness 的核心理念是“一切皆插件”。該插件維護者位於社區目錄(skillhub.cn),與 DeepSeek 官方無官方隸屬關係。

注意事項:
* 需要安裝 Node.js 20+ 環境。
* 安裝後務必重啓 Web UI。
* 插件基於 MIT 許可證開源。

項目地址:GitHub

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜