dsh-vision:給純文本模型補上圖片描述橋接

前言

在 DeepSeek Harness(DSH)裏,如果當前會話使用純文本模型,圖片消息不能直接進入模型上下文。dsh-vision 用於解決這個問題:把圖片消息自動橋接爲視覺模型生成的文字描述,同時人類轉錄保留原圖,並可繼續使用 see_image 工具追問。

這是什麼

dsh-vision 是一個包名爲 dsh-vision 的 DSH 插件,許可證爲 MIT,GitHub 倉庫爲 reimu-create/dsh-vision。它面向純文本模型提供圖片描述橋接,並提供手動識圖工具。

核心功能

  • 圖片消息自動橋接爲視覺模型生成的文字描述。
  • 表面替換事件 append 進會話日誌,人類轉錄保留原圖。
  • 支持 see_image 手動/追問工具,入參爲 file_path 和可選 question。
  • 當前模型自身支持 image 輸入時插件不干預。
  • 模型調用 read_image 等工具返回的嵌套圖片可被遞歸識別改寫。
  • 視覺調用失敗時本次請求仍成功並給出佔位文本,下次自動重試。
  • 可配置視覺模型路由、輸出上限、模式 auto/manual/both、超時。
  • 視覺調用不進入會話 usage 統計。

安裝與啓用

1、執行以下命令,把本地目錄加入 web profile。

dsh plugin --profile web add link:D:/dsh-plugins/dsh-vision

2、執行以下命令,檢查當前 profile 配置中是否出現插件。

dsh --profile web --dump-config | Select-String dsh-vision

輸出中出現 dsh-vision,說明插件已進入當前 profile 配置。

配置

插件需要搭配 uiopt 使用。安裝 uiopt 後,可在界面中配置:

設置 → 插件 → 額外插件 → 可配置插件 → 展開 dsh-vision 卡片,配置視覺模型、輸出上限、模式、超時。

未安裝 uiopt 時,只能通過 settings.yaml 手動配置,且無法在界面中切換視覺模型。

文件方式是在 settings.yaml 的 dsh-vision 分節配置 provider、model、maxTokens、mode、timeoutMs。示例如下:

dsh-vision:
  provider: <visual-provider>
  model: <vision-model>
  maxTokens: <max-tokens>
  mode: auto
  timeoutMs: <timeout-ms>

mode 可配置爲 auto、manual、both。

典型用法

自動橋接不需要額外調用:圖片出現在純文本模型的請求中時,插件會把圖片橋接爲文字描述後放行。

手動識圖或追問時使用 see_image 工具,提供 file_path,可選提供 question。

如果當前模型自身支持 image 輸入,插件不干預。

如果模型調用 read_image 等工具返回嵌套圖片,插件可遞歸識別改寫。

計費與失敗

新圖首次出現按未命中價計費一次。視覺調用不進入會話 usage 統計。

視覺調用失敗時,本次請求仍成功,圖片位置給出佔位文本,下次自動重試。

視覺模型必須真實支持圖片輸入;配置錯誤會導致佔位文本,不會死循環。

適用場景與注意

適合:

  • 主會話模型是純文本,但需要利用圖片信息。
  • 需要保留人類轉錄中的原圖,同時讓模型看到文字描述。
  • 需要通過 see_image 對指定圖片文件手動識圖或追問。

注意:

  • 需要搭配 uiopt 使用;未安裝 uiopt 時只能通過 settings.yaml 手動配置,且無法在界面中切換視覺模型。
  • 插件依賴以下 dsh 預覽版 API:
llm/stream waterfall
surface replace
foldSurface

rc 升級若改簽名,需同步更新。

  • peerDependencies 要求:
@deepseek-ai/dsh-llm ^0.1.0-rc.6
@deepseek-ai/dsh-session ^0.1.0-rc.6
@deepseek-ai/dsh-tools ^0.1.0-rc.6
  • 插件以當前 dsh 進程權限運行,安裝前應檢查源碼與許可證。
  • DSH 社區目錄是獨立站點,與 DeepSeek / 幻方無官方從屬關係。

結尾

dsh-vision 的價值在於讓純文本模型獲得圖片描述,同時保持人類轉錄原圖,並提供 see_image 追問入口。

GitHub:https://github.com/reimu-create/dsh-vision。

目錄頁可在 DSH 社區目錄中檢索 dsh-vision。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜