dsh-vision-tools:給 DSH 會話增加圖片理解能力

前言

在 DSH 插件生態裏,有些會話需要處理本地圖片:描述畫面、識別文字、根據圖片內容繼續回答。DeepSeek Harness 可以接入插件,dsh-vision-tools 就是爲此準備的一個視覺能力插件。它把本地圖片交給 OpenAI 兼容視覺 API 理解,再讓當前會話繼續處理。

下面介紹它的核心能力、安裝配置和使用方式。

這是什麼

dsh-vision-tools 由 moon09300731 維護,許可證爲 MIT。

它爲 DSH 提供 vision_understand 全局工具,使所有會話都能調用 OpenAI 兼容視覺 API 理解本地圖片。插件默認使用智譜 GLM-4.6V-Flash,並支持 zhipu、dashscope、siliconflow、openai 四家 provider 切換。

核心功能

下面列出的能力均來自插件資料:

  • vision_understand:調用 OpenAI 兼容視覺大模型 API,完成畫面描述、文字識別和圖片相關問題回答。
  • 全局可用:vision_understand 註冊爲全局工具,所有會話可用。
  • 三種識圖入口:粘貼截圖、拖拽圖片、點擊按鈕選擇文件。
  • 自動落盤:粘貼、拖拽、按鈕入口會把圖片保存到 $DSH_HOME/pasted-images/,並在輸入框填入 請識別這張圖片:<路徑>。
  • 限流降級:主模型被限流時,可自動降級到 VISION_FALLBACK_MODEL 或 provider 預設模型重試一次。
  • 配置回退:支持 ~/.dsh/vision.env 全局配置,也支持項目目錄 .dsh-vision.env 工作區回退配置;配置即時讀取,改完無需重啓。
  • Web 入口:通過 POST /api/vision-paste 路由落盤粘貼圖片,並在 DSH web 輸入框左側註冊“識圖”按鈕。

安裝與啓用

先執行下面的插件安裝命令:

dsh plugin --profile web add dsh-vision-tools

安裝完成後,重啓 dsh web 使插件生效。

典型用法

下面是常見配置與操作路徑。先創建全局配置文件:

VISION_PROVIDER=zhipu
VISION_API_KEY=你的APIKey

如果需要使用指定模型、接口地址或降級模型,可以繼續補充:

VISION_BASE_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
VISION_MODEL=glm-4.6v-flash
VISION_FALLBACK_MODEL=glm-4v-flash

這裏的 VISION_PROVIDER 可選值包括 zhipu、dashscope、siliconflow、openai。默認使用智譜 GLM-4.6V-Flash;如果主模型被限流,插件會嘗試降級到 VISION_FALLBACK_MODEL 或 provider 預設模型重試一次。

配置完成後,有三種方式送入圖片:

1、使用 Cmd/Ctrl+V 粘貼剪貼板截圖。
2、將圖片拖到輸入框左側的“識圖”按鈕。
3、點擊“識圖”按鈕選擇文件。

經過上面的步驟,圖片會被保存到 $DSH_HOME/pasted-images/,輸入框會填入 請識別這張圖片:<路徑>。發送後,agent 會自動調用 vision_understand 識別圖片。

如果希望配置只對項目生效,可以在項目目錄放置 .dsh-vision.env。該文件與 ~/.dsh/vision.env 使用相同格式,僅當前項目生效。

適用場景與注意

適合在 DSH web 會話中快速查看截圖、識別圖片文字或根據圖片提問。使用之前建議注意這些邊界:

  • 圖片會經外部視覺 API 出網,傳輸方式爲 base64。如果圖片包含敏感數據,可改用本地 OCR,例如 tesseract 或 paddleocr;也可以自建內網視覺服務,並用 VISION_BASE_URL 指向該服務。
  • vision.env 包含 API Key,不要提交到 git。資料稱本倉庫 .gitignore 已忽略該文件。
  • 粘貼路由僅監聽 DSH 本機端口,圖片保存路徑爲 $DSH_HOME/pasted-images/。
  • 限流自動降級僅限流類錯誤觸發;密鑰無效、參數錯誤等業務錯誤不降級,直接報錯。
  • 主模型與降級模型相同時,不會重複請求。
  • @deepseek-ai/dsh-tools 由 DSH 宿主運行時自帶,插件不將其聲明爲 dependencies,以避免 dsh-tools 雙實例導致 scheduler.prepare 崩潰。
  • 插件以當前 dsh 進程權限運行。安裝前應檢查源碼與許可證。本插件許可證爲 MIT。

鏈接

插件信息中給出的相關鏈接如下:

  • 目錄頁:https://www.skillhub.cn/plugins/moon09300731/dsh-vision-tools
  • GitHub:https://github.com/moon09300731/dsh-vision-tools

這樣即可在 DSH 會話中接入本地圖片理解能力。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜