DeepSeek Harness 視覺橋接插件 (DSH Vision Bridge)

前言

在使用 DeepSeek Harness (DSH) 時,如果會話模型不支持圖片輸入(如 DeepSeek 官方模型),DSH 會直接攔截消息並提示“當前模型不支持圖片”。這限制了純文本模型獲取視覺信息的能力。dsh-vision-bridge 插件通過介入 DSH 的消息處理流程,將圖片轉換爲工具調用指令,從而讓不支持圖片的模型也能通過視覺工具對圖片進行分析。

插件簡介

這是一個 DSH profile 插件包,由開發者 ShiraGawaAnri 維護。它旨在解決 DeepSeek 等純文本模型無法直接處理圖片輸入的問題。通過調用視覺工具,插件繞過了原生的攔截機制,允許模型對圖片進行識別並生成基於工具結果的回答。

核心功能

  1. 圖片橋接處理:當模型不支持圖片輸入時,不再彈出原生攔截,而是調用配置的視覺工具(默認爲 vision_glance)識別圖片。
  2. 工作區實體化:在會話工作區創建 .dsh-vision-bridge/ 目錄,將圖片字節實體化。
  3. 靈活的預設控制:支持自定義提示詞,並支持排除預設(如默認的 minimal)。匹配排除預設的會話將保留原生的“不支持圖片”攔截文本。
  4. 跨平臺支持:適配 Windows 和 WSL/Ubuntu 平臺,利用 Shell 執行圖片處理。

安裝與啓用

安裝插件需要先解壓下載的包,然後通過命令將其添加到 DSH profile 中。

unzip dsh-vision-bridge.zip -d dsh-vision-bridge
dsh plugin --profile web add ./dsh-vision-bridge

配置與用法

安裝後,插件通過 DSH 設置服務持久化配置。在 DSH 設置中找到“視覺橋接”選項進行配置:

  1. 啓用開關:默認開啓。關閉後將恢復 DSH 原生的攔截行爲。
  2. 視覺工具選擇:默認使用 vision_glance。系統會根據當前 agent 的工具集進行模糊匹配,也可選擇 glance / ground / detect 等工具。
  3. 自定義提示:可選字段,用於向視覺工具傳遞額外的指令。
  4. 排除預設:配置多選和通配符模式。默認包含 minimal 預設,匹配的會話將不執行橋接。
  5. 前置條件:確保會話中加載了 vision-tools skill(或提供其他視覺工具),否則插件會退化或顯示提示信息。

注意事項

  • Skill 依賴:插件必須依賴 vision-tools skill 提供視覺工具,否則無法正常執行橋接。
  • 進程級影響:插件通過 Admission patch 修改 llm.resolveModelInfo,這會影響當前 DSH 進程下的所有會話。被排除預設的會話雖然不會執行橋接,但可能無法顯示原生的錯誤提示,而是以文本形式呈現。
  • 適配器限制:橋接適配器禁止橋接模型接收圖片塊,圖片僅作爲附件保留在工作區中。
  • 許可證:插件使用 MIT 許可證,安裝前建議檢查源碼。

結語

該插件通過工具調用鏈路,實現了“以文本代圖片”的橋接邏輯,使 DeepSeek 等文本模型具備了視覺分析能力。對於需要在文本模型中處理視覺信息的場景,這是一個必要的補充工具。更多細節請參考 插件目錄 或 GitHub 倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜