前言¶
在使用 DeepSeek Harness (DSH) 時,如果會話模型不支持圖片輸入(如 DeepSeek 官方模型),DSH 會直接攔截消息並提示“當前模型不支持圖片”。這限制了純文本模型獲取視覺信息的能力。dsh-vision-bridge 插件通過介入 DSH 的消息處理流程,將圖片轉換爲工具調用指令,從而讓不支持圖片的模型也能通過視覺工具對圖片進行分析。
插件簡介¶
這是一個 DSH profile 插件包,由開發者 ShiraGawaAnri 維護。它旨在解決 DeepSeek 等純文本模型無法直接處理圖片輸入的問題。通過調用視覺工具,插件繞過了原生的攔截機制,允許模型對圖片進行識別並生成基於工具結果的回答。
核心功能¶
- 圖片橋接處理:當模型不支持圖片輸入時,不再彈出原生攔截,而是調用配置的視覺工具(默認爲
vision_glance)識別圖片。 - 工作區實體化:在會話工作區創建
.dsh-vision-bridge/目錄,將圖片字節實體化。 - 靈活的預設控制:支持自定義提示詞,並支持排除預設(如默認的
minimal)。匹配排除預設的會話將保留原生的“不支持圖片”攔截文本。 - 跨平臺支持:適配 Windows 和 WSL/Ubuntu 平臺,利用 Shell 執行圖片處理。
安裝與啓用¶
安裝插件需要先解壓下載的包,然後通過命令將其添加到 DSH profile 中。
unzip dsh-vision-bridge.zip -d dsh-vision-bridge
dsh plugin --profile web add ./dsh-vision-bridge
配置與用法¶
安裝後,插件通過 DSH 設置服務持久化配置。在 DSH 設置中找到“視覺橋接”選項進行配置:
- 啓用開關:默認開啓。關閉後將恢復 DSH 原生的攔截行爲。
- 視覺工具選擇:默認使用
vision_glance。系統會根據當前 agent 的工具集進行模糊匹配,也可選擇glance/ground/detect等工具。 - 自定義提示:可選字段,用於向視覺工具傳遞額外的指令。
- 排除預設:配置多選和通配符模式。默認包含
minimal預設,匹配的會話將不執行橋接。 - 前置條件:確保會話中加載了
vision-toolsskill(或提供其他視覺工具),否則插件會退化或顯示提示信息。
注意事項¶
- Skill 依賴:插件必須依賴
vision-toolsskill 提供視覺工具,否則無法正常執行橋接。 - 進程級影響:插件通過 Admission patch 修改
llm.resolveModelInfo,這會影響當前 DSH 進程下的所有會話。被排除預設的會話雖然不會執行橋接,但可能無法顯示原生的錯誤提示,而是以文本形式呈現。 - 適配器限制:橋接適配器禁止橋接模型接收圖片塊,圖片僅作爲附件保留在工作區中。
- 許可證:插件使用 MIT 許可證,安裝前建議檢查源碼。
結語¶
該插件通過工具調用鏈路,實現了“以文本代圖片”的橋接邏輯,使 DeepSeek 等文本模型具備了視覺分析能力。對於需要在文本模型中處理視覺信息的場景,這是一個必要的補充工具。更多細節請參考 插件目錄 或 GitHub 倉庫。