dsh-image-router:讓純文本模型也能“看圖”

前言

DeepSeek Harness(DSH)採用插件化架構,旨在擴展模型推理能力。純文本模型無法直接處理圖片輸入。dsh-image-router 插件解決了這一痛點:它會在提示詞准入前,利用你指定的視覺模型將圖片轉換爲文字,從而讓純文本模型也能接收到“帶圖”的上下文。整個過程不改變會話模型的選擇器,歷史記錄中留下的也是文字分析結果。

安裝與前置要求

安裝前需滿足以下條件:
* 已安裝 DeepSeek Harness (DSH) 0.1.5-rc.1 及以上版本
* 系統環境 Node.js ≥ 20

執行以下命令安裝並啓動:

dsh plugin --profile web add dsh-image-router && dsh web

安裝完成後,dsh web 進程會自動加載插件。配置更改通常無需重啓,但代碼層面的更新需要重啓進程。

核心功能

  • 提示詞裏的圖片自動轉文字:插件攔截貼圖或上傳的圖片,在提示詞准入前進行旁路分析,將圖片替換爲文字描述。
  • 會話模型不變:插件不會修改 model 或 selection 字段,模型選擇器不會跳變,用戶界面不會出現 [model changed] 提示。
  • describe_image 工具:提供 describe_image(file_path, question?) 工具,允許任何模型分析本地磁盤上的圖片文件。
  • 兩種給視覺模型的方式:
    1. 選擇已有模型:從“設置 → 模型”中選擇已配置好的支持圖片的模型。
    2. 自定義端點:填寫自定義的 API 地址、模型名和 API Key。
  • 圖形界面配置,保存即生效:通過“設置 → 插件 → 插件配置 → image-router”進行配置,修改後立即生效。
  • API Key 只寫不落盤:密鑰僅寫入憑證庫引用,不回顯、不寫入配置文件、不進入審計日誌。
  • 失敗即放行:視覺模型調用失敗(如超時、報錯)時,插件會保留原請求,不屏蔽錯誤。
  • 審計文件記錄:記錄掛載狀態、每次分析使用的路由、重試情況及失敗原因,便於排查。
  • 測試覆蓋:包含 68 個單元測試。

典型用法

  1. 配置視覺模型:打開“設置 → 插件 → 插件配置 → image-router”。在“視覺模型”下拉框中選擇一個支持圖片的模型(如 GPT-4o、Claude 3.5 Sonnet 等)。若沒有現成的,可切換至“自定義端點”填寫相關信息,點擊保存。
  2. 使用工具:在任意模型的對話中,使用 describe_image(file_path, question?) 工具。例如,輸入 describe_image('/path/to/image.png', '這是什麼?') 即可讓當前模型分析本地圖片。
  3. 粘貼圖片:在會話中粘貼圖片,插件會自動將其轉換爲文字分析結果。

注意事項

  • 版本兼容性:插件需要 DSH 0.1.5-rc.1+。舊版本(如 0.1.0)可能導致“設置 → 模型”頁加載失敗。
  • Node.js 版本:必須使用 Node.js ≥ 20。
  • pnpm 11 特定問題:使用 pnpm 11 時,dsh-image-router@latest 可能因 minimumReleaseAge 配置導致無法安裝。此時需顯式指定版本號,例如 dsh plugin --profile web add dsh-image-router@0.4.4。

結尾

該插件通過在提示詞准入前對圖片進行旁路處理,實現了純文本模型與視覺能力的兼容。它不僅支持命令行安裝,還提供了完善的審計與工具支持,適合需要在純文本模型上處理圖片場景的開發者。

GitHub
插件目錄

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜