dsh-vision-capability:先實測再聲明模型的圖片輸入能力

前言

在 DeepSeek Harness(DSH)裏插入圖片時,宿主只會把圖片發給「模型目錄裏聲明瞭 image 輸入」的模型;未聲明則提示 Model "xxx" does not support image input.。多數網關會對同一個 model id 提供兩套能力:一套真能讀圖,一套收到圖片後靜默丟棄。設置頁又沒有編輯輸入模態的入口,靠文檔或猜測去勾選往往對不上端點真實行爲——猜錯等於往看不見圖的眼睛裏塞圖片。

下面介紹社區插件 dsh-vision-capability(維護者 yukimiracle,分類:模型推理):用一張雙色條測試圖走各網關自己的 OpenAI 兼容端點實測,只有模型按順序答對上下兩色,纔會把 image 寫進該模型的配置。

這是什麼

dsh-vision-capability 是 DSH 社區插件,一句話定位:先實測模型能不能讀圖,再爲它打開圖片輸入。

倉庫:github.com/yukimiracle/dsh-vision-capability
目錄頁:skillhub.cn/plugins/yukimiracle/dsh-vision-capability

社區目錄爲獨立站點,與 DeepSeek / 幻方無官方從屬關係;安裝前建議自行查看源碼與 MIT 許可證。插件在 當前 dsh 進程權限 下運行,會讀取網關憑據併發起一次極小的 chat 請求(約 200 輸入 token)。

核心功能

設置頁與模型頁

裝好後有兩處入口:

  • 設置 → 圖片能力:每個模型一行,展示聲明狀態、上次實測結論,以及檢測/啓用相關按鈕。
  • 模型頁 → 每個網關卡片:一行彙總,並提供「檢測該網關的純文本模型」。

探針判定邏輯

測試圖爲插件現場生成的 160×160 PNG:上下兩條純色,顏色從紅/綠/藍/黃中隨機取兩個不同色。請求經各網關的 OpenAI 兼容端點發送(POST {baseURL}/chat/completions,temperature: 0),要求模型按順序說出上下兩色。

結局 判定 會不會寫設置
答對上下兩色 supported 會寫 text + image
回答裏沒有任何顏色,或順序反了 inconclusive 不寫
端點 4xx/5xx,錯誤裏提到 modality / image 不支持 unsupported 不寫
沒 API key、沒 baseURL、網絡不通 unavailable 不寫
協議不是 openai-completions unsupported-protocol 不寫

只有 supported 會改配置:給該模型條目增加 input: ['text', 'image'](llm-pi-ai 命名空間)或 inputModalities(llm-deepseek 命名空間),其它字段原樣保留。檢測結果保存在本地 ~/.dsh/data/dsh-vision-capability/verdicts.json,供 UI 顯示「上次實測」。「撤銷圖片能力」會把該模型寫回 ['text'],插入圖片時恢復官方提示。

Agent 工具

裝好後 Agent 也可調用:

工具 作用
vision_capability_status 列出所有網關/模型的聲明模態與上次實測結論
vision_capability_probe 實測一個模型;通過才寫聲明(apply: false 只測不寫)
vision_capability_set 不實測直接啓用或撤銷

例如可以直接說:「幫我看看哪個模型真能讀圖」「把 qwen3.8-max 的圖片能力打開」。

安裝與啓用

在插件市場(dshmarket)搜索「圖片能力」或 vision,或使用:

dsh plugin add dsh-vision-capability

也可在 DSH 桌面版「插件市場」頁面點安裝,或從倉庫 Release 下載 .tgz 後執行:

dsh plugin add ./dsh-vision-capability-0.1.0.tgz

package.json 要求 Node >=22.19,DSH >=0.1.2-rc.1 <0.3。

裝完打開 設置 → 圖片能力,對目標模型點「檢測並啓用」即可。

典型用法

  1. 在 設置 → 圖片能力 中查看各模型聲明狀態與上次結論,對不確定的模型點「檢測並啓用」。
  2. 在 模型頁 某網關卡片上使用「檢測該網關的純文本模型」,批量摸清該網關下哪些 id 真能識圖。
  3. 在對話裏讓 Agent 調用 vision_capability_status 彙總現狀,或對指定模型執行 vision_capability_probe(需要只測不改時設 apply: false)。
  4. 若確認網關行爲已變,再次檢測;誤開時可「撤銷圖片能力」或讓 Agent 使用 vision_capability_set。

會改什麼、不會改什麼

  • 只改你點過檢測/啓用的那個模型條目的輸入模態字段。
  • 不改 baseURL、密鑰、上下文長度、溫度等其它配置。
  • 只覆蓋 openai-completions 協議;anthropic-messages、google-generate 等會回 unsupported-protocol,不會亂寫。
  • 一次通過不等於一直通過:網關可能更換後端,檢測是快照;插件不評判 OCR 或圖表理解質量,只判斷「這張圖它看見了嗎」。

結尾

DSH 生態強調「一切皆插件」;dsh-vision-capability 把「猜模型能不能讀圖」換成可重複的端點實測,並在通過時才寫入圖片輸入聲明,減少同一 model id 在不同網關下行爲不一致帶來的誤配。

  • 目錄頁:https://www.skillhub.cn/plugins/yukimiracle/dsh-vision-capability
  • GitHub:https://github.com/yukimiracle/dsh-vision-capability
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜