在 DeepSeek Harness 的開發中,純文本模型雖然處理能力強大,但缺乏對視覺信息的理解能力。要解決這一問題,通常需要手動處理圖片文件或切換到多模態模型。dsh-vision-analysis 插件提供了一種標準化的方式,通過兼容 OpenAI 或 Anthropic 格式的視覺端點,將任意視覺模型接入 Harness。
插件定位¶
該插件由開發者 Harvey-Will 維護,定位爲 DeepSeek Harness 的圖像理解工具。它支持 8 種分析模式,併兼容任意 OpenAI/Anthropic 視覺端點。插件內置了 OVHcloud Qwen2.5-VL-72B 的免費視覺源,同時也支持自定義端點。
安裝與啓用¶
安裝插件需要使用 DSH 的 CLI 命令。安裝後需要重啓配置文件才能生效。
dsh plugin --profile web add github:Harvey-Will/dsh-vision-analysis
安裝完成後,插件會出現在 Settings → 插件配置 中,你可以在此進行具體參數的調整。
核心功能¶
該插件提供了以下核心能力:
- 多模式分析:內置 8 種分析模式,包括描述、OCR、UI 評審、圖表取數、目標檢測、對比、代碼生成和端點診斷。
- 多端點支持:支持 OpenAI
chat/completions或 Anthropicmessages格式。可接入 MiMo、Step、SiliconFlow、OpenRouter、GPT-4o、Claude、Qwen-VL 或本地 Ollama/LM Studio 等模型。 - 輸入支持:支持絕對本地路徑、
http(s)URL 或 base64data:URL。 - 結構化輸出:針對 OCR 和圖表取數,插件會返回機器可讀的 JSON 數據,方便 Agent 直接處理。
- 隱私優先:圖片的字節流不會進入會話日誌,也不會傳給主模型,僅在插件內部處理。
使用方式¶
插件提供了 analyze_image 工具供 Agent 調用,同時也支持在對話中直接粘貼圖片。
1. 使用 analyze_image 工具¶
這是最直接的用法,Agent 可以讀取本地文件或 URL 並進行分析。
Use analyze_image to OCR "/tmp/screenshot.png" and tell me what it says.
2. 對話中粘貼圖片(圖像橋接)¶
要在對話中直接發送圖片,需要在配置中開啓圖像橋接功能。
首先,在 settings.yaml 的模型配置中聲明圖像輸入能力:
llm-deepseek.models:
your-text-model:
inputModalities: [text, image]
然後,在插件配置中指定要橋接的模型列表:
bridgeModels: [your-text-model]
配置完成後,在對話中直接粘貼圖片,插件會自動將其路由到視覺端點進行處理。
配置項說明¶
插件的核心配置項位於 Settings → 插件配置。以下爲關鍵參數:
apiFormat: 接口格式,可選openai或anthropic。baseURL: 視覺端點的 API 地址。apiKey: API 密鑰。留空時將使用通用視覺 API 或本地模型。model: 視覺模型名稱。defaultMode: 默認分析模式,默認爲describe。maxImages: 單次調用最多支持的圖片數量,默認爲 2,最大支持 4。maxBytes: 單張圖片的大小限制,默認爲 10MB。
注意事項¶
- 依賴項:插件運行僅依賴兩個輕量級庫:
@deepseek-ai/schemastery和@deepseek-ai/dsh-settings。 - 權限與安全:插件以當前 DSH 進程的權限運行。安裝前應檢查源碼與許可證(MIT)。
- 限制條件:單次調用最多處理 4 張圖片;單張圖片最大限制爲 10MB。
總結¶
dsh-vision-analysis 爲 DSH 提供了標準化的視覺接入能力。它通過統一的接口屏蔽了不同視覺模型之間的差異,並提供了針對特定場景(如 OCR、圖表取數)的優化模式,適合需要在 Harness 中集成視覺能力的開發者使用。