前言¶
在 DSH 插件生態裏,有些會話需要處理本地圖片:描述畫面、識別文字、根據圖片內容繼續回答。DeepSeek Harness 可以接入插件,dsh-vision-tools 就是爲此準備的一個視覺能力插件。它把本地圖片交給 OpenAI 兼容視覺 API 理解,再讓當前會話繼續處理。
下面介紹它的核心能力、安裝配置和使用方式。
這是什麼¶
dsh-vision-tools 由 moon09300731 維護,許可證爲 MIT。
它爲 DSH 提供 vision_understand 全局工具,使所有會話都能調用 OpenAI 兼容視覺 API 理解本地圖片。插件默認使用智譜 GLM-4.6V-Flash,並支持 zhipu、dashscope、siliconflow、openai 四家 provider 切換。
核心功能¶
下面列出的能力均來自插件資料:
vision_understand:調用 OpenAI 兼容視覺大模型 API,完成畫面描述、文字識別和圖片相關問題回答。- 全局可用:
vision_understand註冊爲全局工具,所有會話可用。 - 三種識圖入口:粘貼截圖、拖拽圖片、點擊按鈕選擇文件。
- 自動落盤:粘貼、拖拽、按鈕入口會把圖片保存到
$DSH_HOME/pasted-images/,並在輸入框填入請識別這張圖片:<路徑>。 - 限流降級:主模型被限流時,可自動降級到
VISION_FALLBACK_MODEL或 provider 預設模型重試一次。 - 配置回退:支持
~/.dsh/vision.env全局配置,也支持項目目錄.dsh-vision.env工作區回退配置;配置即時讀取,改完無需重啓。 - Web 入口:通過
POST /api/vision-paste路由落盤粘貼圖片,並在 DSH web 輸入框左側註冊“識圖”按鈕。
安裝與啓用¶
先執行下面的插件安裝命令:
dsh plugin --profile web add dsh-vision-tools
安裝完成後,重啓 dsh web 使插件生效。
典型用法¶
下面是常見配置與操作路徑。先創建全局配置文件:
VISION_PROVIDER=zhipu
VISION_API_KEY=你的APIKey
如果需要使用指定模型、接口地址或降級模型,可以繼續補充:
VISION_BASE_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
VISION_MODEL=glm-4.6v-flash
VISION_FALLBACK_MODEL=glm-4v-flash
這裏的 VISION_PROVIDER 可選值包括 zhipu、dashscope、siliconflow、openai。默認使用智譜 GLM-4.6V-Flash;如果主模型被限流,插件會嘗試降級到 VISION_FALLBACK_MODEL 或 provider 預設模型重試一次。
配置完成後,有三種方式送入圖片:
1、使用 Cmd/Ctrl+V 粘貼剪貼板截圖。
2、將圖片拖到輸入框左側的“識圖”按鈕。
3、點擊“識圖”按鈕選擇文件。
經過上面的步驟,圖片會被保存到 $DSH_HOME/pasted-images/,輸入框會填入 請識別這張圖片:<路徑>。發送後,agent 會自動調用 vision_understand 識別圖片。
如果希望配置只對項目生效,可以在項目目錄放置 .dsh-vision.env。該文件與 ~/.dsh/vision.env 使用相同格式,僅當前項目生效。
適用場景與注意¶
適合在 DSH web 會話中快速查看截圖、識別圖片文字或根據圖片提問。使用之前建議注意這些邊界:
- 圖片會經外部視覺 API 出網,傳輸方式爲 base64。如果圖片包含敏感數據,可改用本地 OCR,例如
tesseract或paddleocr;也可以自建內網視覺服務,並用VISION_BASE_URL指向該服務。 vision.env包含 API Key,不要提交到 git。資料稱本倉庫.gitignore已忽略該文件。- 粘貼路由僅監聽 DSH 本機端口,圖片保存路徑爲
$DSH_HOME/pasted-images/。 - 限流自動降級僅限流類錯誤觸發;密鑰無效、參數錯誤等業務錯誤不降級,直接報錯。
- 主模型與降級模型相同時,不會重複請求。
@deepseek-ai/dsh-tools由 DSH 宿主運行時自帶,插件不將其聲明爲 dependencies,以避免 dsh-tools 雙實例導致scheduler.prepare崩潰。- 插件以當前
dsh進程權限運行。安裝前應檢查源碼與許可證。本插件許可證爲 MIT。
鏈接¶
插件信息中給出的相關鏈接如下:
- 目錄頁:https://www.skillhub.cn/plugins/moon09300731/dsh-vision-tools
- GitHub:https://github.com/moon09300731/dsh-vision-tools
這樣即可在 DSH 會話中接入本地圖片理解能力。