前言¶
DeepSeek Harness (DSH) 的設計理念是“一切皆插件”。當活躍的文本模型無法直接處理圖像輸入時，zh-u-hb/dsh-vision-bridge 插件能夠介入。它監聽 DSH 的消息處理流水線，在文本模型報告不支持圖像輸入時，將圖像消息轉發至用戶配置的 OpenAI 兼容視覺模型，並將返回的文本替換回對話流中。
插件簡介¶
這是一個由 Zh-U-hB 維護的聯網工具類插件。它提供了一個 Web 設置頁面，允許用戶配置 OpenAI 兼容的 API 端點和密鑰。當激活時，插件會攔截圖像消息，將其發送給配置的視覺模型，並將返回的文本替換回對話流中。
核心功能¶
- 託管與配置：提供宿主插件和 Web 設置頁面。
- 消息路由：監聽
agent/pre-step流水線，在活躍文本模型報告不支持圖像輸入時，將圖像消息轉發至外部端點。 - 提示詞合成：自動要求文本模型編寫針對圖像的提示詞，並將系統提示詞與圖像數據組合發送。
安裝與啓用¶
安裝腳本會將插件安裝到默認的 web 配置文件中。安裝後需重啓服務。
- 執行安裝命令：
./install.sh
若需安裝到其他配置文件，可使用環境變量：
DSH_PROFILE=myprofile ./install.sh
- 重啓 DSH Web 服務：
dsh web
配置步驟¶
通過 Web 設置頁面進入 vision-bridge 命名空間下的 Vision 部分。
必須配置以下字段才能啓用橋接：
* enabled：是否啓用圖像橋接功能。
* url：OpenAI 兼容 API 的基礎地址（或完整地址，需以 /chat/completions 結尾）。
* apiKey：用於認證的 Bearer Token。
* model：指定要調用的視覺模型 ID。
設置頁面對 API Key 進行了脫敏處理，空白字段會被視爲“保留已保存的密鑰”。
工作原理¶
插件監聽 agent/pre-step 流水線。在消息被追加到會話日誌之前，系統會檢查消息是否包含圖像內容塊。
- 如果當前活躍的模型明確支持圖像輸入，消息原樣通過。
- 如果模型僅支持文本，且配置了端點，插件會執行以下操作：
* 請求當前文本模型根據消息文本編寫一個精確的視覺提示詞。
* 組裝系統提示詞。
* 向配置的 OpenAI 兼容端點發送 POST 請求，內容包含系統提示、編寫的提示詞以及 Base64 編碼的圖像數據。
* 將返回的文本替換原始圖像塊。
注意事項與限制¶
- 僅支持 OpenAI 協議：僅支持標準的
/chat/completions端點。 - 圖像來源限制：僅處理在
agent/pre-step階段收到的圖像消息。如果圖像已經通過其他路徑（例如工具執行結果）到達會話日誌，插件不會重寫它。 - 前置條件：需要活躍的模型在元數據中明確聲明爲
text-only纔會觸發橋接。如果模型未聲明模態信息，消息將保持不變。 - 密鑰管理：Web 界面無法直接清除已保存的 API Key，需要直接編輯原始配置文檔。
總結¶
該插件通過在 DSH 的流水線中注入邏輯，解決了文本模型無法直接處理圖像的問題。配置完成後，它能夠無縫地將圖像分析任務委託給外部視覺模型，同時保持對話記錄的可重構性。
