DeepSeek Harness 中的文本模型通常無法直接理解圖像內容。如果需要讓這些模型具備視覺能力,完成圖像問答、長截圖解析或 UI 恢復等任務,需要引入外部工具。mengruoa/dsh-vision-toolkit 正是爲此設計的插件。它通過一套工具和 Skill,爲 DeepSeek Harness 中的文本模型提供了視覺能力。
插件定位¶
這是一個給文本模型提供視覺能力的工具包。插件內包含視覺工具和 Skill,支持圖像問答、長截圖 OCR、UI 恢復和 GUI 視覺任務。維護者爲 mengruoa,許可證爲 MIT。
核心功能¶
插件提供以下能力:
- 圖像問答:直接對圖片內容提問。
- 長截圖 OCR:處理包含大量文本的長截圖。
- UI 恢復:將截圖重建爲可編輯的代碼或頁面。
- GUI 視覺任務:通過截圖操作圖形界面。
- 視覺技能與工具:內置 Skill 引導 Agent 進行視覺任務,並提供多種視覺工具。
- 多提供商支持:支持配置多個視覺提供商,並具備自動回退機制。
安裝與啓用¶
通過命令行安裝插件。安裝命令如下:
dsh plugin --profile web add @mengruo/dsh-vision-toolkit
也可以將其安裝到 Headless Profile:
dsh plugin --profile headless add @mengruo/dsh-vision-toolkit
如果使用 DSH Desktop,由於內置安裝有已知問題,建議打開 DSH Terminal 執行命令:
dsh plugin --profile desktop add @mengruo/dsh-vision-toolkit
安裝後,重啓 Web Profile,進入 Settings → Vision Toolkit 配置視覺提供商,並運行 Test vision model 確認連接。
典型用法¶
安裝配置完成後,可以執行以下操作:
- 在對話中直接粘貼圖片並提問。
- 將截圖重建爲 HTML 代碼。
- 將草圖或設計稿轉換爲可用的前端頁面。
- 從截圖恢復 UI 佈局。
- 通過截圖來操作 GUI。
適用場景與注意¶
該插件適合需要讓文本模型具備視覺能力的場景。注意該插件以當前 dsh 進程權限運行,安裝前應檢查源碼與許可證。DSH Desktop 的內置插件市場存在已知安裝問題,終端命令是更可靠的安裝路徑。
結尾¶
該插件爲 DeepSeek Harness 增加了視覺處理能力,使其能夠處理更復雜的視覺任務。項目地址:GitHub。