DeepSeek Harness 默認僅允許聲明瞭圖片輸入模態(inputModalities)的模型接收圖片。純文本模型(如 deepseek-*、glm-*)在會話中粘貼截圖通常會失敗或報錯。現有的解決方案往往需要切換模型、使用第三方代理或硬編碼密鑰。
dsh-autovision 插件在 DSH Web UI 中爲純文本模型引入了原生視覺能力。它會在運行時爲每個純文本模型註冊一個透明的“雙胞胎提供者”(Twin Provider),將圖片請求路由到你配置的多模態模型,並將轉錄後的文本注入回上下文。用戶無需切換模型或修改 settings.yaml,即可讓文本模型“看到”圖片。
核心功能¶
- 零摩擦、透明註冊與自動路由:插件在運行時爲純文本模型註冊
<provider>-autovision雙胞胎提供者。agent/request會自動將請求重定向到該雙胞胎,無需手動切換模型或編輯配置。 - 粘貼即轉文本:在文本模型的編輯器中粘貼圖片併發送,系統會自動調用配置的多模態模型進行轉錄,生成文本後發送給文本模型。原始圖片在 UI 中保持可見,日誌也會保留原圖。
- Agent 可調用工具:插件向模型暴露了
autovision_read_image工具。在會話中,模型可以主動調用此工具讀取本地文件(需提供路徑和指令),並基於結果進行後續操作。 - 無內置憑證:插件本身不存儲任何 API Key,也不涉及中轉代理。它僅調用你在 DSH 設置頁面中配置好的默認視覺模型(如
minimax-m3、opencode-go)。 - 配置持久化:作爲純插件實現,它不修改 DSH 核心代碼,
dsh upgrade操作不會破壞插件功能。
安裝與啓用¶
確保你的 DSH Web 版本不低於 0.1.0-rc.6。執行以下命令添加插件:
dsh plugin --profile web add @iroam2375/dsh-autovision
安裝後,重啓 dsh web,進入 設置 -> 插件 -> Autovision 頁面。你需要選擇一個 默認視覺模型,該模型負責進行圖片轉文字的轉錄工作。
典型用法¶
- 直接粘貼圖片:在任意文本模型的會話中,將圖片粘貼到編輯器併發送。文本模型會收到一張忠實轉錄的文本,而不是原始圖片。
- 通過工具讀取文件:在對話中指示模型讀取特定文件。模型可以調用
autovision_read_image工具,傳入文件路徑和自定義指令(如“逐字轉錄”),並基於結果進行後續操作。
適用場景與注意¶
此插件適合需要在 DSH 環境下使用純文本模型處理圖片信息的場景。由於插件以當前 DSH 進程的權限運行,建議在安裝前檢查源碼與許可證。
需要注意以下限制:
* 新會話首圖跳過:如果會話的第一條消息已經包含圖片,該圖片會被靜默跳過。解決方案是在發送第一條圖片消息前先發送一條純文本消息。
* 文件大小限制:支持上傳的圖片最大爲 5 MB。
* 轉錄延遲:轉錄耗時取決於所選視覺模型的性能(例如 minimax-m3 可能需要 6-9 秒),插件引入了 LRU 緩存以緩解延遲。
* UI 顯示:在設置頁面中,可能會看到一個沒有地址的裸提供者行(如 opencode-go-autovision),這僅是視覺上的顯示瑕疵,不影響實際功能。
總結¶
dsh-autovision 提供了一種在 DeepSeek Harness 中爲純文本模型注入視覺能力的輕量級方案。它不改變核心配置,不泄露密鑰,且支持 Agent 調用。通過簡單的配置,你可以讓文本模型直接處理圖片內容。