前言¶
DeepSeek Harness(DSH)在接入純文本模型時,常見一個限制:DeepSeek 等文本模型不能直接處理圖片。用戶在 Web UI 中粘貼或上傳圖片後,可能遇到“當前模型不支持圖片”的提示,或者需要先外部生成圖片描述,再手工把文字貼回會話。
dsh-vision-plugin 是爲 DSH 編寫的插件,用於讓純文本模型通過 OpenRouter 的 :free 多模態模型獲得圖片理解能力。它可以在發送前把圖片轉成文字描述,再交給當前模型處理。使用 OpenRouter 免費視覺模型時,不產生 API 調用成本。
這是什麼¶
- 插件名稱:
Agents365-ai/dsh-vision-plugin - 維護者:
Agents365-ai - 許可證:MIT
- GitHub:
https://github.com/Agents365-ai/dsh-vision-plugin - 作用:爲 DSH 添加圖片理解能力,使純文本模型(如 DeepSeek)也能基於圖片內容回答。
核心能力¶
- 提供
describe_image工具:讀取磁盤上的圖片文件,調用 OpenRouter 視覺模型返回文字描述。 - 自動圖片處理:粘貼或上傳的圖片會原樣顯示在聊天界面;當前模型不支持圖片時,
llm/stream鉤子會在發送前調用 OpenRouter 視覺模型,把圖片轉成文字描述交給當前模型。 - 首次啓動時自動在
$DSH_HOME/settings.yaml寫入默認的deepseek-visionprovider,指向 OpenRouter。該配置可隨時修改或刪除。 - 使用 OpenRouter 的
:free多模態模型,零 API 成本。
安裝前準備¶
插件只從環境變量讀取 OpenRouter API Key。未設置時,插件會直接報錯並提示配置。
在啓動 DSH 前設置:
export OPENROUTER_API_KEY=your_openrouter_api_key
安裝方式¶
bundle 安裝¶
先添加插件到 web profile,再啓動 DSH:
dsh plugin --profile web add https://github.com/Agents365-ai/dsh-vision-plugin
dsh web
如果安裝時出現:
ERR_PNPM_GIT_DEP_PREPARE_NOT_ALLOWED
說明拉到了舊版本(帶 prepare 構建腳本)。更新到最新版本即可。
–patch 安裝¶
從插件目錄安裝依賴,並用 --patch 啓動:
cd dsh-vision-plugin
npm install
dsh web --patch ./cordis.yml
注意:cordis.yml 裏的插件路徑是絕對路徑,clone 後需要改成你自己本機的路徑。
使用¶
安裝後,在 Web UI 的模型選擇器裏選擇 deepseek-vision provider 下的 DeepSeek 模型。
插件首次啓動會自動寫入默認 provider 配置,無需手動創建。如需額外指定其他模型路徑,可設置:
export AUTO_VISION_FORCE_MODELS=provider/other-alias-model
然後再次啓動 DSH。
配置注意¶
官方 deepseek provider 是純文本的,不要給它聲明圖片輸入(modelOverrides)。圖片理解應通過 deepseek-vision 這類指向 OpenRouter 的 provider 完成。
卸載¶
bundle 安裝可使用:
dsh plugin --profile web remove dsh-vision-plugin
--patch 安裝無需執行卸載命令,去掉啓動參數 --patch ./cordis.yml 即可。
如果希望清理自動寫入的配置,可刪除 $DSH_HOME/settings.yaml 中的 deepseek-vision provider 配置。
已知限制¶
- 會話裏已有圖片時,切換到不支持圖片的模型會被 Harness 拒絕,錯誤爲
model-unavailable。需要切換時請開新會話。 - 當前 prompt 含圖片時,工具會被剝掉。“看圖 + 同時用工具”需要分兩步:先問圖片,再讓模型用工具。
- 免費視覺模型偶爾返回安全判定或過短描述,插件會自動換下一個模型重試。
適用場景與安全檢查¶
這個插件適合在 DSH 中使用純文本模型,又希望讀取圖片內容的場景。
安裝前建議先查看倉庫源碼和 MIT 許可證。插件以當前 dsh 進程權限運行,並能讀取圖片文件、調用外部模型接口,因此應確保你信任源碼,並且只在本機允許使用 OpenRouter API Key 的環境中啓用。
鏈接¶
- GitHub:
https://github.com/Agents365-ai/dsh-vision-plugin - 許可證:MIT