dsh-llm-deepseek-vision:給 DeepSeek Harness 的純文本模型提供視覺輸入

前言

在 DeepSeek Harness(DSH)裏,模型能力通常由插件按路由組合。如果你使用的 DeepSeek 純文本模型無法直接接收圖片,常見做法是額外接一個視覺模型,先把圖片轉成文字,再交給文本模型推理。

dsh-llm-deepseek-vision 把這個流程封裝成 DSH 插件:註冊一個 DeepSeek (Vision) 路由,讓純文本模型基於視覺模型給出的圖片描述繼續推理,而不是直接處理圖片字節。

定位

它由 NagasakiSoyo-ui 維護,許可證爲 MIT。

插件通過 npm 包名 @deepseek-ai/dsh-llm-deepseek-vision 安裝,並聲明 dsh.bundle manifest;也支持從源碼構建後接入 Harness 部署。

工作原理

下面介紹它的三條核心行爲:

1、註冊額外的 provider 路由:deepseek-vision。

2、對外廣告 deepseek-v4-flash 和 deepseek-v4-pro,並聲明:

input: [text, image]

3、按請求內容分流:

  • 不帶圖片:零開銷透傳到文本推理路由,默認是 opencode-go。
  • 帶圖片:由配置的視覺模型把每張圖描述成文字,再交給純文本模型基於描述推理。

默認情況下,文本推理與圖片描述都跑在 OpenCode Zen Go(opencode-go)。

安裝

先用 npm 包安裝插件,並掛到 web profile:

dsh plugin --profile web add @deepseek-ai/dsh-llm-deepseek-vision

如果需要從源碼構建,可以按下面步驟操作:

git clone https://github.com/NagasakiSoyo-ui/dsh-llm-deepseek-vision.git
cd dsh-llm-deepseek-vision
npm install
npm run build

構建完成後,再把插件產物接入你的 Harness 部署。

掛載到組合配置

在 profile 的 cordis.patch.yml 中添加插件條目,並配置視覺路由、委託路由和模型目錄:

- id: llm-deepseek-vision
  name: '@deepseek-ai/dsh-llm-deepseek-vision'
  config:
    visionProvider: opencode-go
    visionModel: <支持 [text, image] 的視覺模型 id>
    visionPrompt: <給視覺模型的描述指令>
    visionMaxTokens: 1024
    delegateProvider: opencode-go
    models:
      - id: deepseek-v4-flash
      - id: deepseek-v4-pro

visionProvider 指向提供視覺模型的 provider 路由;delegateProvider 指向實際完成文本推理的路由。models 決定這個 deepseek-vision 路由對外展示的模型目錄。

前置條件

啓用前需要確認以下幾點:

1、視覺 provider 路由必須存在,並且其模型被聲明爲支持圖片輸入:

input: [text, image]

2、視覺模型必須能被其 provider 路由解析。

3、視覺模型的 provider 必須能完成認證,並在憑據庫中配置對應的 apiKeyEnv。

4、Harness 必須掛載持久化附件服務;dsh-base 已內置該服務。

5、如果手寫聲明瞭 pi-ai 路由條目,但未聲明推理能力,會被按“可關閉思考”處理,即發送 off。

使用

經過上面的配置後,在模型選擇器中選擇 DeepSeek (Vision),再選擇 deepseek-v4-flash 或 deepseek-v4-pro,然後在消息中附加圖片。

如果希望它成爲會話默認模型,可以設置:

agent-default-model:
  provider: deepseek-vision
  model: deepseek-v4-flash

配置項

字段 說明
visionProvider 提供視覺模型的 provider 路由
visionModel 視覺模型 id,必須支持 [text, image] 輸入
visionPrompt 給視覺模型的描述指令
visionMaxTokens 單次視覺描述的輸出上限
delegateProvider 接收文字請求並推理的路由
models 該路由對外廣告的模型目錄

適用場景與注意

適合已有 DSH 純文本模型、但需要讓模型基於圖片作答的場景。插件不改變推理模型本身,而是在請求鏈路中把圖片轉換爲文字描述,再交給文本模型繼續推理。

使用前注意:

1、視覺描述每輪都會重新生成;如果會話日誌裏包含圖片,每輪都會重新描述。

2、回放一個視覺輪次會重新運行視覺模型。

3、插件以當前 dsh 進程權限運行,安裝前應檢查源碼與許可證。

4、DSH 插件生態強調“一切皆插件”;插件目錄是獨立站點,與 DeepSeek / 幻方無官方從屬關係,不應把它理解爲官方應用商店。

結尾

dsh-llm-deepseek-vision 的價值在於把“看圖”和“推理”拆開:視覺模型負責把圖片描述成文字,純文本模型負責基於這些描述完成推理。

目錄頁線索(來自插件線索,使用前請自行確認):

https://www.skillhub.cn/plugins/NagasakiSoyo-ui/dsh-llm-deepseek-vision

GitHub 倉庫:

https://github.com/NagasakiSoyo-ui/dsh-llm-deepseek-vision
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜