前言¶
DeepSeek Harness(DSH)的官方線路是純文本。在 Web 裏粘貼圖片時,可能會遇到:
當前模型不支持圖片
對智能體開發者來說,這個報錯會把截圖、報錯圖、界面圖等輸入直接擋在外面。dsh-plugin-multimodal 處理的是這個入口問題:先讓圖片附件不被拒絕,再把圖片內容轉成文字交給主模型。
這是什麼¶
dsh-plugin-multimodal 由 shinjiyu 維護,許可證爲 MIT。Node 引擎要求如下:
>=18
它的一句定位是:
Vision sidecar for DeepSeek Harness: accept image attachments on text-only models, describe them, then send text to the main model.
也就是說,當主模型本身是純文本模型時,插件先在 GUI 側收下圖片,再調用能看圖的 sidecar 生成文字描述,最後把文字發送給主模型。
核心功能¶
- 主模型本身收圖時,原樣把圖交給模型,不轉文字。
- 主模型是純文本時,GUI 先收下圖,sidecar 轉成文字再發給主模型。
- 提供用於磁盤截圖的入口:
see_image
- 用於 Web 粘貼圖片的貼圖准入,避免當前模型不支持圖片時直接拒絕。
- 支持通過以下環境變量配置視覺 sidecar:
DSH_VISION_BASE_URL
DSH_VISION_API_KEY
DSH_VISION_MODEL
DSH_VISION_PROMPT
- 未設置
DSH_VISION_*時,回退:
OPENAI_BASE_URL
OPENAI_API_KEY
- 支持在 profile 的
cordis.patch.yml中配置dsh-plugin-multimodal。
安裝與啓用¶
先安裝到指定 profile:
dsh plugin --profile web add github:shinjiyu/dsh-plugin-multimodal
如果使用本地目錄:
dsh plugin --profile web add D:\tempWorkspace\dsh-plugin-multimodal
安裝後重啓 DSH Web 進程:
dsh web
舊會話的工具表不會更新,需要在新會話裏驗證。
配置¶
環境變量方式:
DSH_VISION_BASE_URL=https://api.example/v1
DSH_VISION_API_KEY=...
DSH_VISION_MODEL=glm-4.5v
DSH_VISION_PROMPT=...
DSH_VISION_BASE_URL:視覺接口。DSH_VISION_API_KEY:該接口的 key。DSH_VISION_MODEL:需要是真能看圖的模型。DSH_VISION_PROMPT:可選。
未設置 DSH_VISION_* 時,回退 OPENAI_BASE_URL / OPENAI_API_KEY。
也可以在 profile 的 cordis.patch.yml 中寫:
- id: dsh-plugin-multimodal
name: dsh-plugin-multimodal
inject: [llm, tools, attachments, systemPrompt]
config:
model: glm-4.5v
apiKeyEnv: DSH_VISION_API_KEY
apiKeyEnv 寫的是環境變量名,key 本身不要寫進倉庫。
典型用法¶
先做一次驗收:
- 主模型使用官方純文本模型。
- 配置一個真能看圖的 sidecar。
- 在 Web 中粘貼一張報錯截圖,並問“紅字說了什麼”。
- 通過標準:不再出現“當前模型不支持圖片”,主模型能引用圖上的文字。
磁盤文件場景:
如果截圖已經是磁盤上的文件,可以讓它調用:
see_image
適用場景與注意¶
適合:
- 主模型走 DSH 官方純文本線路。
- 需要在 Web 裏粘貼截圖,並讓主模型基於文字繼續處理。
- 需要處理磁盤上的截圖文件。
- 希望保持主模型純文本輸入,同時補上圖片入口。
注意:
- 不要把 sidecar 指到
GLM-5.2-FP8這類文本模型。 - 不要把 sidecar 指到
deepseek-v4-flash或其他純文本模型。 - 不要把 key 寫進倉庫。
- 不要改
runtime/或官方 DeepSeek adapter。 - 不要把它宣傳成視覺工具箱;它的定位是貼圖准入,不是視覺工具箱。
- 插件以當前
dsh進程權限運行,安裝前應檢查源碼與許可證。 - 微信羣不是官方羣。README 中提到的本張微信羣碼有效期到 2026-08-23;按 2026-09-01 的日期看可能已過期,是否可用以倉庫內最新說明爲準。
結尾¶
dsh-plugin-multimodal 補的是 DSH 純文本會話裏的貼圖入口:它不改主模型的文本路線,而是用 sidecar 先把圖片轉成文字。
DSH 插件生態的社區目錄是獨立站點,與 DeepSeek / 幻方無官方從屬關係;目錄頁入口以倉庫 README 中給出的說明爲準。
GitHub:
https://github.com/shinjiyu/dsh-plugin-multimodal