dsh-plugin-vision:爲 DSH 文本模型接入 Gemini / GLM 視覺能力

前言

在 DeepSeek Harness(DSH)裏,如果主對話仍由純文本大模型承擔,本地圖片常常無法直接參與推理:截圖、訂單頁、Logo、代碼圖、文檔圖都需要另找入口處理。

tdf1995/dsh-plugin-vision 的思路是:不要求文本模型本身讀圖,而是通過 Gemini / GLM 免費視覺 API 完成圖像描述、OCR 與視覺問答,再把結果交回 DSH 會話。

這是什麼

一句話定位:它是面向 DSH 的視覺能力插件,爲純文本大模型補上本地圖片理解能力。

倉庫由 tdf1995 維護,許可證爲 MIT。

核心功能

圖像分析工具

see_image 用於分析本地圖片,支持 png / jpg / jpeg / webp / gif,單張上限 20MB。

調用時可以自定義提問,例如詢問商品、價格、配色,或要求做 OCR。

雙提供商與路由

插件支持 Gemini 與 GLM 兩類視覺提供商。

auto 模式會自動選擇可用 Key 的提供商,並支持粘性路由、故障轉移,以及 429 / 限流退避重試。

大圖壓縮

超過 4MB 的圖片會自動壓縮到最長邊 1920px、JPEG 質量 85 後再上傳。

該壓縮依賴 pwsh + System.Drawing,僅 Windows 生效;其他平臺自動回退原圖。

Key 與狀態

vision_set_key 用於在會話內保存提供商 API Key 至 DSH 憑據庫,並立即生效。

vision_status 用於查看各提供商 Key 配置狀態,不回顯 Key 本身。

Web UI 圖片輸入

瀏覽器端支持 Ctrl+V 粘貼、拖入或點擊圖片按鈕添加圖片,並展示附件卡片。

安裝與啓用

前置要求:

Node.js >= 20
已部署 DeepSeek Harness (DSH)
至少一個 Gemini 或智譜 GLM 視覺 API Key

安裝命令:

npm i -D dsh-plugin-vision

API Key 可以放在環境變量、~/.dsh/.credentials.yaml,或通過 vision_set_key 寫入 DSH 憑據庫。倉庫本身不包含 API Key。

插件以當前 dsh 進程權限運行。安裝前應檢查源碼、依賴與許可證。

典型用法

下面是文檔示例,可直接作爲對話輸入:

幫我看看這張圖 D:\work\screenshot.png
這張訂單截圖裏商品是什麼?多少錢?
用 GLM 分析 code/my/logo.png,描述一下配色
用 gemini-3.6-flash 看 baojia/data/purchased_items/xxx.jpg,做 OCR

前兩個例子是直接給本地圖片路徑或圍繞截圖提問;第三個例子顯式指定 GLM 提供商;第四個例子顯式指定模型名並要求 OCR。

適用場景與注意

適合在 DSH 中使用純文本大模型,但經常需要處理本地圖片的開發者,例如截圖解讀、訂單信息提取、Logo 配色分析、文檔 OCR。

注意以下邊界:

  • 粘貼、拖入等瀏覽器輸入能力只對 Web UI(dsh web)生效;TUI 等無 Web 界面時這些功能會缺席。
  • /vision/save-image 路由僅監聽迴環地址;即使如此,仍建議只在本機使用。
  • Gemini 在國內訪問需要代理;智譜 GLM 可直連。
  • 大圖壓縮只在 Windows 生效,其他平臺會回退原圖;使用時仍需滿足 20MB 讀取上限。
  • 這是社區插件,不應理解爲 DeepSeek 或幻方官方應用商店中的官方能力。

結尾

如果你已經在 DSH 中使用純文本大模型,但經常需要處理本地圖片,dsh-plugin-vision 提供了一個直接的橋接方案:用外部視覺 API 完成讀圖,再把結果送回會話。

項目地址:

  • GitHub: https://github.com/tdf1995/dsh-plugin-vision
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜