前言¶
DeepSeek Harness(DSH)採用插件化架構,旨在擴展模型推理能力。純文本模型無法直接處理圖片輸入。dsh-image-router 插件解決了這一痛點:它會在提示詞准入前,利用你指定的視覺模型將圖片轉換爲文字,從而讓純文本模型也能接收到“帶圖”的上下文。整個過程不改變會話模型的選擇器,歷史記錄中留下的也是文字分析結果。
安裝與前置要求¶
安裝前需滿足以下條件:
* 已安裝 DeepSeek Harness (DSH) 0.1.5-rc.1 及以上版本
* 系統環境 Node.js ≥ 20
執行以下命令安裝並啓動:
dsh plugin --profile web add dsh-image-router && dsh web
安裝完成後,dsh web 進程會自動加載插件。配置更改通常無需重啓,但代碼層面的更新需要重啓進程。
核心功能¶
- 提示詞裏的圖片自動轉文字:插件攔截貼圖或上傳的圖片,在提示詞准入前進行旁路分析,將圖片替換爲文字描述。
- 會話模型不變:插件不會修改
model或selection字段,模型選擇器不會跳變,用戶界面不會出現[model changed]提示。 - describe_image 工具:提供
describe_image(file_path, question?)工具,允許任何模型分析本地磁盤上的圖片文件。 - 兩種給視覺模型的方式:
- 選擇已有模型:從“設置 → 模型”中選擇已配置好的支持圖片的模型。
- 自定義端點:填寫自定義的 API 地址、模型名和 API Key。
- 圖形界面配置,保存即生效:通過“設置 → 插件 → 插件配置 → image-router”進行配置,修改後立即生效。
- API Key 只寫不落盤:密鑰僅寫入憑證庫引用,不回顯、不寫入配置文件、不進入審計日誌。
- 失敗即放行:視覺模型調用失敗(如超時、報錯)時,插件會保留原請求,不屏蔽錯誤。
- 審計文件記錄:記錄掛載狀態、每次分析使用的路由、重試情況及失敗原因,便於排查。
- 測試覆蓋:包含 68 個單元測試。
典型用法¶
- 配置視覺模型:打開“設置 → 插件 → 插件配置 → image-router”。在“視覺模型”下拉框中選擇一個支持圖片的模型(如 GPT-4o、Claude 3.5 Sonnet 等)。若沒有現成的,可切換至“自定義端點”填寫相關信息,點擊保存。
- 使用工具:在任意模型的對話中,使用
describe_image(file_path, question?)工具。例如,輸入describe_image('/path/to/image.png', '這是什麼?')即可讓當前模型分析本地圖片。 - 粘貼圖片:在會話中粘貼圖片,插件會自動將其轉換爲文字分析結果。
注意事項¶
- 版本兼容性:插件需要 DSH 0.1.5-rc.1+。舊版本(如 0.1.0)可能導致“設置 → 模型”頁加載失敗。
- Node.js 版本:必須使用 Node.js ≥ 20。
- pnpm 11 特定問題:使用 pnpm 11 時,
dsh-image-router@latest可能因minimumReleaseAge配置導致無法安裝。此時需顯式指定版本號,例如dsh plugin --profile web add dsh-image-router@0.4.4。
結尾¶
該插件通過在提示詞准入前對圖片進行旁路處理,實現了純文本模型與視覺能力的兼容。它不僅支持命令行安裝,還提供了完善的審計與工具支持,適合需要在純文本模型上處理圖片場景的開發者。