dsh-plugin-multimodal:給純文本 DSH 會話補上貼圖准入

前言

DeepSeek Harness(DSH)的官方線路是純文本。在 Web 裏粘貼圖片時,可能會遇到:

當前模型不支持圖片

對智能體開發者來說,這個報錯會把截圖、報錯圖、界面圖等輸入直接擋在外面。dsh-plugin-multimodal 處理的是這個入口問題:先讓圖片附件不被拒絕,再把圖片內容轉成文字交給主模型。

這是什麼

dsh-plugin-multimodal 由 shinjiyu 維護,許可證爲 MIT。Node 引擎要求如下:

>=18

它的一句定位是:

Vision sidecar for DeepSeek Harness: accept image attachments on text-only models, describe them, then send text to the main model.

也就是說,當主模型本身是純文本模型時,插件先在 GUI 側收下圖片,再調用能看圖的 sidecar 生成文字描述,最後把文字發送給主模型。

核心功能

  1. 主模型本身收圖時,原樣把圖交給模型,不轉文字。
  2. 主模型是純文本時,GUI 先收下圖,sidecar 轉成文字再發給主模型。
  3. 提供用於磁盤截圖的入口:
   see_image
  1. 用於 Web 粘貼圖片的貼圖准入,避免當前模型不支持圖片時直接拒絕。
  2. 支持通過以下環境變量配置視覺 sidecar:
   DSH_VISION_BASE_URL
   DSH_VISION_API_KEY
   DSH_VISION_MODEL
   DSH_VISION_PROMPT
  1. 未設置 DSH_VISION_* 時,回退:
   OPENAI_BASE_URL
   OPENAI_API_KEY
  1. 支持在 profile 的 cordis.patch.yml 中配置 dsh-plugin-multimodal。

安裝與啓用

先安裝到指定 profile:

dsh plugin --profile web add github:shinjiyu/dsh-plugin-multimodal

如果使用本地目錄:

dsh plugin --profile web add D:\tempWorkspace\dsh-plugin-multimodal

安裝後重啓 DSH Web 進程:

dsh web

舊會話的工具表不會更新,需要在新會話裏驗證。

配置

環境變量方式:

DSH_VISION_BASE_URL=https://api.example/v1
DSH_VISION_API_KEY=...
DSH_VISION_MODEL=glm-4.5v
DSH_VISION_PROMPT=...
  • DSH_VISION_BASE_URL:視覺接口。
  • DSH_VISION_API_KEY:該接口的 key。
  • DSH_VISION_MODEL:需要是真能看圖的模型。
  • DSH_VISION_PROMPT:可選。

未設置 DSH_VISION_* 時,回退 OPENAI_BASE_URL / OPENAI_API_KEY。

也可以在 profile 的 cordis.patch.yml 中寫:

- id: dsh-plugin-multimodal
  name: dsh-plugin-multimodal
  inject: [llm, tools, attachments, systemPrompt]
  config:
    model: glm-4.5v
    apiKeyEnv: DSH_VISION_API_KEY

apiKeyEnv 寫的是環境變量名,key 本身不要寫進倉庫。

典型用法

先做一次驗收:

  1. 主模型使用官方純文本模型。
  2. 配置一個真能看圖的 sidecar。
  3. 在 Web 中粘貼一張報錯截圖,並問“紅字說了什麼”。
  4. 通過標準:不再出現“當前模型不支持圖片”,主模型能引用圖上的文字。

磁盤文件場景:

如果截圖已經是磁盤上的文件,可以讓它調用:

see_image

適用場景與注意

適合:

  • 主模型走 DSH 官方純文本線路。
  • 需要在 Web 裏粘貼截圖,並讓主模型基於文字繼續處理。
  • 需要處理磁盤上的截圖文件。
  • 希望保持主模型純文本輸入,同時補上圖片入口。

注意:

  • 不要把 sidecar 指到 GLM-5.2-FP8 這類文本模型。
  • 不要把 sidecar 指到 deepseek-v4-flash 或其他純文本模型。
  • 不要把 key 寫進倉庫。
  • 不要改 runtime/ 或官方 DeepSeek adapter。
  • 不要把它宣傳成視覺工具箱;它的定位是貼圖准入,不是視覺工具箱。
  • 插件以當前 dsh 進程權限運行,安裝前應檢查源碼與許可證。
  • 微信羣不是官方羣。README 中提到的本張微信羣碼有效期到 2026-08-23;按 2026-09-01 的日期看可能已過期,是否可用以倉庫內最新說明爲準。

結尾

dsh-plugin-multimodal 補的是 DSH 純文本會話裏的貼圖入口:它不改主模型的文本路線,而是用 sidecar 先把圖片轉成文字。

DSH 插件生態的社區目錄是獨立站點,與 DeepSeek / 幻方無官方從屬關係;目錄頁入口以倉庫 README 中給出的說明爲準。

GitHub:

https://github.com/shinjiyu/dsh-plugin-multimodal
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜