dsh-vision-bridge:讓純文本模型接收圖像

DeepSeek Harness(DSH)的官方模型(如 deepseek-v4-flash 和 deepseek-v4-pro)是純文本的。它們的 API 端點不接受圖像字節,模型元數據也聲明只支持文本輸入。在 DSH 的環境中,這意味着無法向使用這些模型的會話粘貼截圖,也無法使用內置的 read_image 工具。

dsh-vision-bridge 旨在解決這個問題。它通過本地運行的視覺模型,讓純文本模型能夠接收和理解圖像。

這是什麼

這是一個 DeepSeek Harness 插件,由 YuLee-314 維護。它利用本地 Ollama 運行的 qwen2.5vl 模型來處理視覺任務,無需使用雲端密鑰。所有圖片處理均在本地完成,不會向 DeepSeek API 發送圖片字節。

核心功能

該插件通過三個層面實現功能:

  1. 原生圖片體驗:純文本模型也能像視覺模型一樣處理圖片。粘貼截圖會生成縮略圖和圖片塊,read_image 工具也能正常工作。
  2. 請求層透明:沒有 Prompt Hack,沒有預設分支。插件在適配層攔截圖像塊,轉換爲文本描述後發送給 DeepSeek API。
  3. 結構化輸出與座標:視覺工具支持生成帶座標的元素邊界框([0,1000] 歸一化座標),支持區域裁剪、雙圖對比和剪貼板讀取。
  4. 九種視覺工具:提供 describe_image(描述)、extract_text(OCR)、structured_scan(結構化掃描)、query_region(區域查詢)、detect_elements(元素檢測)、locate_object(物體定位)、compare_images(雙圖對比)、read_clipboard(剪貼板讀取)和 check_health(健康檢查)。
  5. 重複圖像緩存:重複的圖像會命中內容哈希緩存,無需重複推理。
  6. 自包含與共存:單文件分發(約 29 KB),無機器特定路徑依賴。插件與官方路由共存,官方路由作爲回退,插件會根據模型元數據決定是保持原生圖片流還是轉爲本地路徑。

安裝與啓用

安裝命令如下:

dsh plugin --profile web add

安裝後,插件會註冊一個名爲 deepseek-vision 的“孿生”路由,並將九種視覺工具注入到 DSH 的工具集中。

典型用法

  • 粘貼圖片:在支持圖片的會話中粘貼截圖,DSH 會自動生成縮略圖和圖片塊。如果使用的是原生文本路由,圖片會被保存爲本地路徑,供視覺工具讀取。
  • 本地視覺處理:利用本地 qwen2.5vl 模型生成圖片描述供 DeepSeek 使用。
  • 交互式工具:使用 read_clipboard 或 compare_images 等工具進行交互。模型可以調用這些工具來分析圖片。
  • Twin Route:通過 deepseek-vision 路由處理原生圖片流。

要求與依賴

  • Node.js:版本需大於或等於 22.19。
  • 本地模型:需要在本地運行 Ollama,並加載 qwen2.5vl 模型。
  • 依賴庫:使用 sharp 進行圖像處理,使用 openai 作爲接口封裝。

注意事項

  • 插件以當前 DSH 進程的權限運行,安裝前應檢查源碼與許可證(MIT)。
  • 所有圖片處理均在本地完成,確保隱私安全。

鏈接

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜