dsh-vision-pro-bridge:爲 DeepSeek-V4-Pro 補全視覺能力

前言

DeepSeek Harness (DSH) 中的 deepseek-v4-pro 和 deepseek-v4-flash 模型目前僅支持文本輸入。在 DSH 環境中,直接向 Pro 會話粘貼截圖會報錯提示“不支持圖像輸入”。dsh-vision-pro-bridge 插件通過路由代理,爲純文本的 V4-Pro 模型補全了視覺能力。

插件簡介

該插件由 ShaineDemo 維護,遵循 MIT 許可證。它通過 DeepSeek 獨佔路由,利用現有的 DEEPSEEK_API_KEY,將圖像先由 deepseek-v4-flash-vision-exp 轉錄爲文本,再將文本與本地路徑傳遞給 deepseek-v4-pro 進行回答。

核心功能

  • 零第三方依賴:僅依賴 DSH 自身的核心庫,不引入 OpenAI、Sharp 等外部庫。
  • DeepSeek 獨佔路由:圖像處理完全通過 DeepSeek 的官方 API,單一提供商。
  • 官方圖像流水線:複用官方適配器邏輯,確保行爲一致。
  • 內容尋址持久化:圖像緩存於本地特定目錄,通過穩定路徑傳遞給模型。
  • 專注 Pro 模型:保留 V4-Pro 的代碼能力,並增加視覺理解。

安裝與啓用

通過 DSH 命令行安裝插件:

dsh plugin --profile web add dsh-vision-pro-bridge

安裝後需重啓 DSH Web 服務以加載插件。

典型用法

  1. 在模型選擇器中選擇 DeepSeek-V4-Pro (視覺橋)。
  2. 粘貼或拖拽截圖,並像往常一樣提問。
  3. 將其設爲默認模型,編輯 ~/.dsh/settings.yaml:
agent-default-model:
  provider: deepseek-vision-pro
  model: deepseek-v4-pro-vision

工作原理

插件註冊了一個名爲 deepseek-vision-pro 的路由(模型名爲 deepseek-v4-pro-vision),該路由聲明支持圖像輸入。當圖像被提交時:
1. 插件截取圖像字節,將其保存到 ~/.dsh/vision-pro-bridge/images/。
2. 調用 deepseek-v4-flash-vision-exp 模型進行轉錄,生成文本描述。
3. 將轉錄文本與本地文件路徑拼接,通過 deepseek-v4-pro 模型處理。
4. DeepSeek 的原始網絡端點始終只接收到文本和路徑,不直接接收圖像數據。

適用場景與注意

  • 適用場景:適合佈局分析、OCR 識別、UI 界面審查等場景。
  • 注意:
    • 轉錄有損:不適合需要精確像素座標的場景。
    • 模型固定:轉錄模型固定爲 deepseek-v4-flash-vision-exp。
    • 無回退鏈:如果轉錄調用失敗,圖像將變爲佔位符,對話繼續但無視覺信息。
    • 日誌與緩存:活動日誌寫入 ~/.dsh/vision-pro-bridge-activity.l,圖像緩存在 ~/.dsh/vision-pro-bridge/images/。

總結

該插件爲追求輕量化和 DeepSeek 生態的開發者提供了一個最小化的視覺解決方案。它不依賴複雜的第三方服務,完全複用 DeepSeek 的官方管線,適合需要 V4-Pro 編碼能力但偶爾需要查看界面的場景。

GitHub 倉庫 | 社區目錄

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜