dsh-vision-bridge:給 DeepSeek V4 / V4-Flash 的圖片消息加一層描述橋接

前言

DSH 的插件體系允許在 profile 中加載擴展,dsh-vision-bridge 是其中用於圖片處理的第三方插件。它解決的是 DeepSeek V4 / V4-Flash 這類純文本模型處理圖片上下文的問題:插件自動調用一個 OpenAI 兼容視覺模型,把圖片識別成文字描述,再把描述交給 DeepSeek 繼續處理。

下面介紹它的定位、核心能力、安裝命令和典型配置。dsh-vision-bridge 由 ximengxiaolan 維護,許可證爲 MIT。作爲社區第三方插件,安裝前建議先檢查源碼與許可證。

這是什麼

dsh-vision-bridge 是一個 DSH 插件,目標是在輸入框直接粘貼圖片併發送時,不改變 DeepSeek 的文本處理流程,只在發往模型前把圖片內容轉成文字描述。

它不是讓 DeepSeek 原生看圖,而是通過外部視覺模型生成描述,再把描述作爲文本消息傳給 DeepSeek。

核心功能

  • 在輸入框直接粘貼圖片併發送,插件自動調用 OpenAI 兼容視覺模型把圖片識別成文字描述,再把描述交給 DeepSeek 繼續處理。
  • 給 ctx.llm.resolveModelInfo 打補丁,聲明當前模型支持 image 輸入,讓圖片附件進入會話。
  • 包裝 llm.streamWithRegistration,在每次請求發往模型前掃描消息中的圖片塊並替換爲文字描述。
  • 如果路由到的模型原生支持圖片,則放行原圖、不做轉換。
  • 同一張圖片按 attachmentId 在同一進程內緩存描述,重複發送不重複計費。
  • VLM 調用失敗時降級爲 [圖片識別失敗: 原因],對話不會中斷。

安裝與啓用

前置要求是 dsh CLI 與 pnpm。先安裝插件,再重啓 profile:

dsh plugin --profile web add dsh-vision-bridge
dsh web

經過上面的步驟後,插件會隨該 profile 加載。

配置 VLM

插件唯一需要的是一個 OpenAI 兼容多模態模型,接口形式爲 /chat/completions + image_url。下面以阿里雲百鍊 qwen-vl-max 爲例。

可以通過環境變量配置:

$env:VISION_API_KEY  = "sk-..."
$env:VISION_BASE_URL = "https://dashscope.aliyuncs.com/compatible-mode/v1"
$env:VISION_MODEL    = "qwen-vl-max"
$env:VISION_LANG     = "zh"   # zh | en

也可以在 profile 的 cordis.patch.yml 中配置:

- id: dsh-vision-bridge
  config:
    apiKey: 'sk-...'
    baseURL: 'https://dashscope.aliyuncs.com/compatible-mode/v1'
    model: 'qwen-vl-max'
    lang: zh
    timeoutMs: 180000
    enabled: true

典型用法

完成安裝和配置後,重啓 dsh web,然後直接在輸入框粘貼圖片併發送。DeepSeek 會基於視覺模型生成的描述繼續處理。

適合先走一遍的流程:

1、確認 dsh CLI 與 pnpm 可用。
2、執行 dsh plugin --profile web add dsh-vision-bridge。
3、設置 VISION_API_KEY、VISION_BASE_URL、VISION_MODEL、VISION_LANG,或在 cordis.patch.yml 中寫入對應配置。
4、重啓 dsh web。
5、在輸入框粘貼一張圖片併發送,確認 DeepSeek 能基於圖片描述繼續回答。

適用場景與注意

它適合在 DSH web profile 中處理“圖片作爲上下文”的任務,例如讓 DeepSeek V4 / V4-Flash 基於圖片內容回答問題、總結信息或繼續執行文本任務。

需要注意:

  • 子智能體會話(subagent)仍受 DSH 內核限制,不支持貼圖。
  • 插件運行在當前 dsh 進程內,安裝前應檢查源碼、許可證和所需憑據。
  • package.json 的 peerDependencies 要求:@deepseek-ai/cordis ^4.0.1、@deepseek-ai/dsh-llm ^0.1.0-rc.6、@deepseek-ai/dsh-attachment ^0.1.0-rc.6、@deepseek-ai/schemastery ^3.18.1。

鏈接

目錄頁是社區獨立站點,與 DeepSeek / 幻方沒有官方從屬關係,不應等同於官方應用商店。

  • 目錄頁:https://www.skillhub.cn/plugins/ximengxiaolan/dsh-vision-bridge
  • GitHub:https://github.com/ximengxiaolan/dsh-vision-bridge
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜