dsh-vision-plugin:爲 DSH 增加圖片理解能力

前言

DeepSeek Harness(DSH)在接入純文本模型時,常見一個限制:DeepSeek 等文本模型不能直接處理圖片。用戶在 Web UI 中粘貼或上傳圖片後,可能遇到“當前模型不支持圖片”的提示,或者需要先外部生成圖片描述,再手工把文字貼回會話。

dsh-vision-plugin 是爲 DSH 編寫的插件,用於讓純文本模型通過 OpenRouter 的 :free 多模態模型獲得圖片理解能力。它可以在發送前把圖片轉成文字描述,再交給當前模型處理。使用 OpenRouter 免費視覺模型時,不產生 API 調用成本。

這是什麼

  • 插件名稱:Agents365-ai/dsh-vision-plugin
  • 維護者:Agents365-ai
  • 許可證:MIT
  • GitHub:https://github.com/Agents365-ai/dsh-vision-plugin
  • 作用:爲 DSH 添加圖片理解能力,使純文本模型(如 DeepSeek)也能基於圖片內容回答。

核心能力

  1. 提供 describe_image 工具:讀取磁盤上的圖片文件,調用 OpenRouter 視覺模型返回文字描述。
  2. 自動圖片處理:粘貼或上傳的圖片會原樣顯示在聊天界面;當前模型不支持圖片時,llm/stream 鉤子會在發送前調用 OpenRouter 視覺模型,把圖片轉成文字描述交給當前模型。
  3. 首次啓動時自動在 $DSH_HOME/settings.yaml 寫入默認的 deepseek-vision provider,指向 OpenRouter。該配置可隨時修改或刪除。
  4. 使用 OpenRouter 的 :free 多模態模型,零 API 成本。

安裝前準備

插件只從環境變量讀取 OpenRouter API Key。未設置時,插件會直接報錯並提示配置。

在啓動 DSH 前設置:

export OPENROUTER_API_KEY=your_openrouter_api_key

安裝方式

bundle 安裝

先添加插件到 web profile,再啓動 DSH:

dsh plugin --profile web add https://github.com/Agents365-ai/dsh-vision-plugin
dsh web

如果安裝時出現:

ERR_PNPM_GIT_DEP_PREPARE_NOT_ALLOWED

說明拉到了舊版本(帶 prepare 構建腳本)。更新到最新版本即可。

–patch 安裝

從插件目錄安裝依賴,並用 --patch 啓動:

cd dsh-vision-plugin
npm install
dsh web --patch ./cordis.yml

注意:cordis.yml 裏的插件路徑是絕對路徑,clone 後需要改成你自己本機的路徑。

使用

安裝後,在 Web UI 的模型選擇器裏選擇 deepseek-vision provider 下的 DeepSeek 模型。

插件首次啓動會自動寫入默認 provider 配置,無需手動創建。如需額外指定其他模型路徑,可設置:

export AUTO_VISION_FORCE_MODELS=provider/other-alias-model

然後再次啓動 DSH。

配置注意

官方 deepseek provider 是純文本的,不要給它聲明圖片輸入(modelOverrides)。圖片理解應通過 deepseek-vision 這類指向 OpenRouter 的 provider 完成。

卸載

bundle 安裝可使用:

dsh plugin --profile web remove dsh-vision-plugin

--patch 安裝無需執行卸載命令,去掉啓動參數 --patch ./cordis.yml 即可。

如果希望清理自動寫入的配置,可刪除 $DSH_HOME/settings.yaml 中的 deepseek-vision provider 配置。

已知限制

  • 會話裏已有圖片時,切換到不支持圖片的模型會被 Harness 拒絕,錯誤爲 model-unavailable。需要切換時請開新會話。
  • 當前 prompt 含圖片時,工具會被剝掉。“看圖 + 同時用工具”需要分兩步:先問圖片,再讓模型用工具。
  • 免費視覺模型偶爾返回安全判定或過短描述,插件會自動換下一個模型重試。

適用場景與安全檢查

這個插件適合在 DSH 中使用純文本模型,又希望讀取圖片內容的場景。

安裝前建議先查看倉庫源碼和 MIT 許可證。插件以當前 dsh 進程權限運行,並能讀取圖片文件、調用外部模型接口,因此應確保你信任源碼,並且只在本機允許使用 OpenRouter API Key 的環境中啓用。

鏈接

  • GitHub:https://github.com/Agents365-ai/dsh-vision-plugin
  • 許可證:MIT
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜