DeepSeek Harness(DSH)的官方模型(如 deepseek-v4-flash 和 deepseek-v4-pro)是純文本的。它們的 API 端點不接受圖像字節,模型元數據也聲明只支持文本輸入。在 DSH 的環境中,這意味着無法向使用這些模型的會話粘貼截圖,也無法使用內置的 read_image 工具。
dsh-vision-bridge 旨在解決這個問題。它通過本地運行的視覺模型,讓純文本模型能夠接收和理解圖像。
這是什麼¶
這是一個 DeepSeek Harness 插件,由 YuLee-314 維護。它利用本地 Ollama 運行的 qwen2.5vl 模型來處理視覺任務,無需使用雲端密鑰。所有圖片處理均在本地完成,不會向 DeepSeek API 發送圖片字節。
核心功能¶
該插件通過三個層面實現功能:
- 原生圖片體驗:純文本模型也能像視覺模型一樣處理圖片。粘貼截圖會生成縮略圖和圖片塊,
read_image工具也能正常工作。 - 請求層透明:沒有 Prompt Hack,沒有預設分支。插件在適配層攔截圖像塊,轉換爲文本描述後發送給 DeepSeek API。
- 結構化輸出與座標:視覺工具支持生成帶座標的元素邊界框(
[0,1000]歸一化座標),支持區域裁剪、雙圖對比和剪貼板讀取。 - 九種視覺工具:提供
describe_image(描述)、extract_text(OCR)、structured_scan(結構化掃描)、query_region(區域查詢)、detect_elements(元素檢測)、locate_object(物體定位)、compare_images(雙圖對比)、read_clipboard(剪貼板讀取)和check_health(健康檢查)。 - 重複圖像緩存:重複的圖像會命中內容哈希緩存,無需重複推理。
- 自包含與共存:單文件分發(約 29 KB),無機器特定路徑依賴。插件與官方路由共存,官方路由作爲回退,插件會根據模型元數據決定是保持原生圖片流還是轉爲本地路徑。
安裝與啓用¶
安裝命令如下:
dsh plugin --profile web add
安裝後,插件會註冊一個名爲 deepseek-vision 的“孿生”路由,並將九種視覺工具注入到 DSH 的工具集中。
典型用法¶
- 粘貼圖片:在支持圖片的會話中粘貼截圖,DSH 會自動生成縮略圖和圖片塊。如果使用的是原生文本路由,圖片會被保存爲本地路徑,供視覺工具讀取。
- 本地視覺處理:利用本地
qwen2.5vl模型生成圖片描述供 DeepSeek 使用。 - 交互式工具:使用
read_clipboard或compare_images等工具進行交互。模型可以調用這些工具來分析圖片。 - Twin Route:通過
deepseek-vision路由處理原生圖片流。
要求與依賴¶
- Node.js:版本需大於或等於 22.19。
- 本地模型:需要在本地運行 Ollama,並加載
qwen2.5vl模型。 - 依賴庫:使用
sharp進行圖像處理,使用openai作爲接口封裝。
注意事項¶
- 插件以當前 DSH 進程的權限運行,安裝前應檢查源碼與許可證(MIT)。
- 所有圖片處理均在本地完成,確保隱私安全。