dsh-vision:爲 DeepSeek Harness 增加識圖工具的插件

前言

在 DeepSeek Harness(DSH)裏做智能體時,一個常見問題是:主模型只處理文本,遇到本地圖片路徑或網絡圖片 URL 時無法直接理解。已有做法通常是額外寫腳本調用多模態模型接口,再把文字結果喂回對話。DSH 的「一切皆插件」思路可以把這類能力打包成 bundle 插件,註冊成工具給 agent 調用。

下面介紹 dsh-vision。它把圖片發送給阿里雲百鍊或智譜多模態模型,返回中文文字描述,用於給不具備原生識圖能力的 DSH 模型提供識圖能力。

這是什麼

dsh-vision 是 Terry12138qy 維護的 DSH bundle 插件,許可證爲 MIT。它把 asuojun/claude-vision-skill 的識圖主流程移植適配爲 DSH 插件,並註冊一個 vision 工具。

這個插件解決的是 DSH 對話中“看到圖片路徑,但主模型不能直接理解圖片”的問題。它會把圖片讀取、base64 編碼、調用多模態接口、返回文字描述這幾步封裝起來,供 agent 或 Code Mode 調用。

核心功能

dsh-vision 當前已覈實的能力包括:

  • 接受本地圖片路徑或網絡 URL。
  • 把圖片發送給多模態大模型,返回中文文字描述。
  • 主模型爲阿里雲百鍊(DashScope)qwen3.5-omni-plus
  • 調用失敗時自動切換智譜 glm-4.6v-flash 備用模型並重試。
  • 失敗原因包括額度用盡、欠費、限流。
  • 打包爲 DSH bundle 插件,註冊 vision 工具。
  • Code Mode 中可通過 await tools.vision(...) 調用。
  • 支持 exec.signal 取消。
  • 配置優先級爲環境變量 > cordis.patch.yml config > 默認值。

安裝與啓用

先執行安裝命令:

dsh plugin --profile web add github:Terry12138qy/dsh-vision

如果使用本地路徑安裝:

dsh plugin --profile web add file:/絕對/路徑/dsh-vision

安裝後需要重啓 dsh web 才能讓插件生效。

配置

密鑰推薦通過環境變量配置,避免密鑰進入倉庫;也可以編輯 cordis.patch.ymlconfig。環境變量優先於 cordis.patch.ymlconfig

用途 環境變量 config 字段
主模型 API Key DASHSCOPE_API_KEY apiKey
主模型 Base URL DASHSCOPE_BASE_URL baseUrl
主模型名 VISION_MODEL model
備用模型 API Key FALLBACK_API_KEY fallbackApiKey
備用模型 Base URL FALLBACK_BASE_URL fallbackBaseUrl
備用模型名 FALLBACK_MODEL fallbackModel

主模型與備用模型的 API Key、Base URL、模型名都可以按上述字段配置。配置完成後,插件會優先使用環境變量中的值。

典型用法

配置好後,直接在對話中發送圖片路徑或 URL,agent 會調用 vision 工具。示例:

幫我看下這張圖 C:\path\to\image.png

也可以在 Code Mode 中直接調用:

await tools.vision(...)

當主模型調用失敗時,插件會切換備用模型並重試,最終返回文字描述。

適用場景與注意

dsh-vision 適合這類場景:DSH 中的主模型不直接處理圖像,但需要把圖片轉成文字描述,再用於後續問答、總結、代碼分析或文檔整理。

使用前需要注意:

  • 插件以當前 dsh 進程權限運行,安裝前應檢查源碼、依賴和許可證。
  • 本適配代碼採用 MIT License。
  • lib/vision.js 的識圖主流程移植自 asuojun/claude-vision-skill,使用時需保留其署名並遵守原始項目要求。
  • 密鑰建議放在環境變量中,不要把 API Key 寫進倉庫。
  • 如果你後續發佈到 GitHub,記得給倉庫添加 dsh-plugin 主題,方便被 DSH 生態發現。

結尾

dsh-vision 的價值在於把識圖流程封裝成 DSH 可安裝、可調用的 vision 工具,讓不具備原生識圖能力的模型也能借助多模態模型完成看圖任務。插件目錄頁:https://www.skillhub.cn/plugins/Terry12138qy/dsh-vision,GitHub 倉庫:https://github.com/Terry12138qy/dsh-vision。社區目錄是獨立站點,不是官方應用商店,也不與 DeepSeek / 幻方構成官方從屬關係。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜