前言¶
DeepSeek Harness(DSH)通過插件機制擴展功能。在多模態對話場景中,用戶常需上傳圖片並人工描述其內容,這增加了操作成本且描述可能不精確。dsh-vision-plugin 解決了這個問題,通過在發送消息前自動轉述圖片內容並注入描述,降低了多模態交互的門檻。
插件介紹¶
該插件由開發者 zcma11 維護,屬於模型推理類別。其核心邏輯是:用戶在聊天框上傳或粘貼圖片,發送時通過視覺模型(DashScope)或 Windows 離線 OCR 轉述圖片內容,並將描述自動插入到消息開頭。
安裝與啓用¶
使用 DSH 官方提供的插件管理命令進行安裝:
npx @deepseek-ai/dsh plugin --profile web add dsh-vision-plugin
注意事項:如果在使用 pnpm 9 時遇到 ERR_PNPM_ADDING_TO_ROOT 錯誤,需要在命令末尾追加 --workspace-root 參數。
使用方法¶
上傳與粘貼圖片¶
在聊天輸入框的工具欄中,點擊對應圖標選擇圖片,或直接使用 Ctrl+V 粘貼。支持的格式包括截圖(如 QQ 截圖、系統截圖),BMP 圖片會自動轉換爲 PNG。
配置視覺模型¶
由於純 OCR 模式不依賴外部模型,僅視覺轉述模式需要配置。請進入 設置 -> 通用 -> 視覺轉述模型,從下拉框中選擇支持圖片輸入的模型(例如 dashscope/qwen3.6-plus),並確保已配置 DASHSCOPE_API_KEY。
發送與轉述¶
-
選擇模式:
- 點擊 📝(純 OCR) 按鈕:僅調用 Windows 內置 OCR 引擎,離線運行。
- 點擊 🖼️(視覺轉述) 按鈕 或 粘貼圖片:僅調用視覺模型進行轉述。 -
發送過程:
- 轉述期間,輸入框上方預覽條會顯示“⏳ 正在解析圖片…”,此時會攔截新的發送請求。
- 轉述成功後,消息內容會自動以【解析了提供圖片,圖片內容是<描述>】開頭,後接你的原文,預覽條隨後自動清除。
- 轉述失敗時,消息不會發送,頂部會彈出紅色提示,明確區分是“視覺模型調用失敗”還是“OCR 識別失敗”。
適用場景與注意事項¶
- 適用場景:適合需要在 DSH 中進行多模態對話的開發者或用戶。
- 系統依賴:純 OCR 功能依賴 Windows 10+ 及 PowerShell 5.1,且插件在 Windows 環境下驗證。
- 安全與存儲:圖片僅以 base64 格式存儲在內存中,不落盤,符合安全隔離要求。
- 模式路由:插件採用嚴格路由策略,OCR 按鈕僅 OCR,視覺按鈕/粘貼僅視覺模型,不做自動降級處理。
結語¶
dsh-vision-plugin 通過自動化圖片解析與描述注入,簡化了多模態交互流程。更多細節與源碼可訪問 GitHub 倉庫。