dsh-llm-vision-bridge:在 DSH web GUI 中爲 DeepSeek 文本模型接入圖片理解

前言

在 DSH web GUI 的聊天窗口裏,用戶可以在輸入區粘貼或上傳圖片附件;但文本模型本身通常不能直接處理圖片塊。dsh-llm-vision-bridge 解決的就是這個問題:它把帶圖片的請求先路由到一個視覺模型,讓視覺模型生成文本描述,再把這些描述交回給 DeepSeek 文本模型繼續對話。

下面介紹它的定位、能力、安裝方式和典型用法。

這是什麼

倉庫 Einskyle/dsh-llm-vision-bridge 提供的是一個 DSH 插件,許可證爲 MIT。它面向 DSH web GUI,把圖片附件交給已配置的視覺模型(如 pi-ai / llama.cpp Qwen3-VL)處理,再用生成的文本描述繼續與 DeepSeek 文本模型對話。

它會在 DSH 的 LlmAdapter seam 上註冊 deepseek-vision provider,使會話能夠把圖片請求交給這個橋接 provider 處理。

核心能力

下面這些是插件提供的主要行爲:

  • 註冊 deepseek-vision provider,接入 DSH LlmAdapter seam。
  • 當請求包含圖片時,把圖片附件路由到配置的視覺模型,並將視覺模型生成的文本描述交給 DeepSeek 繼續會話。
  • 當請求不包含圖片時,直接交給 fallback provider,保持零額外開銷。
  • 使用 LRU description cache,避免同一“圖片 + prompt”被重複描述。
  • 對可重試的 503429 和超時錯誤自動重試。
  • 支持可配置失敗策略:placeholdererror

安裝與啓用

先安裝插件。GitHub 安裝命令如下:

dsh plugin --profile web add github:Einskyle/dsh-llm-vision-bridge

安裝後重啓 web 服務:

pnpm dsh web

在發送圖片之前,需要把會話或主模型設置爲橋接 provider,例如:

agent-default-model.provider: deepseek-vision

如果當前會話或主模型不是 deepseek-vision,host 的圖片准入檢查可能不通過,並出現 MODEL_DOES_NOT_SUPPORT_IMAGES

典型用法

下面按步驟走一遍:

1、在 Settings → Models → llm-vision-bridge 下配置橋接項,包括 visionProvidervisionModelonVisionFailure 等字段。

2、把主模型設置爲 deepseek-vision

agent-default-model.provider: deepseek-vision

3、在 chat composer 中粘貼或上傳圖片,支持的格式爲 PNG、JPEG、WebP、GIF,可以附帶問題,然後發送。插件會先讓視覺模型生成描述,再讓 DeepSeek 基於描述繼續回答。

4、如果只需要純文本模式,把主模型切回 deepseek-official

agent-default-model.provider: deepseek-official

此時圖片上傳會被 admission 拒絕,這是預期行爲。

Settings 中的修改不需要重啓即可生效。

視覺模型側要求

視覺調用走 pi-ai adapter,因此視覺 provider 需要在 pi-ai adapter 上配置。視覺 provider 不能是橋接 provider 本身,也就是不能指向 deepseek-vision,否則形成遞歸。

本地 llama.cpp gateway 是默認的視覺路由,但不是必需項;任何接受圖片輸入且 OpenAI-compatible 的端點都可以使用。

如果視覺 provider 聲明瞭 apiKeyEnv 但憑據缺失,pi-ai 會報告 MISSING_CREDENTIAL。使用雲端 OpenAI-compatible 路由時,需要已有存儲的憑據。

適用場景與注意

這個插件適合已經能使用 DSH web GUI,並且希望讓文本模型藉助外部視覺模型處理圖片附件的場景。它不是把圖片直接送入 DeepSeek 文本模型,而是通過“先描述、後回答”的方式讓文本模型繼續參與對話。

使用時注意:

  • 會話或主模型必須支持圖片准入,通常要設置爲 deepseek-vision
  • 視覺 provider 必須獨立於橋接 provider,不能配置成 deepseek-vision
  • 雲端視覺端點需要正確配置憑據,否則可能遇到 MISSING_CREDENTIAL
  • 插件會以當前 dsh 進程權限運行;安裝前應檢查源碼與 MIT 許可證。
  • 可重試的 503429、超時錯誤會被自動重試;最終失敗時按 onVisionFailure 的策略處理。

倉庫

GitHub 倉庫地址:

https://github.com/Einskyle/dsh-llm-vision-bridge

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜