DeepSeek Harness 圖像理解插件介紹

在 DeepSeek Harness 的開發中,純文本模型雖然處理能力強大,但缺乏對視覺信息的理解能力。要解決這一問題,通常需要手動處理圖片文件或切換到多模態模型。dsh-vision-analysis 插件提供了一種標準化的方式,通過兼容 OpenAI 或 Anthropic 格式的視覺端點,將任意視覺模型接入 Harness。

插件定位

該插件由開發者 Harvey-Will 維護,定位爲 DeepSeek Harness 的圖像理解工具。它支持 8 種分析模式,併兼容任意 OpenAI/Anthropic 視覺端點。插件內置了 OVHcloud Qwen2.5-VL-72B 的免費視覺源,同時也支持自定義端點。

安裝與啓用

安裝插件需要使用 DSH 的 CLI 命令。安裝後需要重啓配置文件才能生效。

dsh plugin --profile web add github:Harvey-Will/dsh-vision-analysis

安裝完成後,插件會出現在 Settings → 插件配置 中,你可以在此進行具體參數的調整。

核心功能

該插件提供了以下核心能力:

  1. 多模式分析:內置 8 種分析模式,包括描述、OCR、UI 評審、圖表取數、目標檢測、對比、代碼生成和端點診斷。
  2. 多端點支持:支持 OpenAI chat/completions 或 Anthropic messages 格式。可接入 MiMo、Step、SiliconFlow、OpenRouter、GPT-4o、Claude、Qwen-VL 或本地 Ollama/LM Studio 等模型。
  3. 輸入支持:支持絕對本地路徑、http(s) URL 或 base64 data: URL。
  4. 結構化輸出:針對 OCR 和圖表取數,插件會返回機器可讀的 JSON 數據,方便 Agent 直接處理。
  5. 隱私優先:圖片的字節流不會進入會話日誌,也不會傳給主模型,僅在插件內部處理。

使用方式

插件提供了 analyze_image 工具供 Agent 調用,同時也支持在對話中直接粘貼圖片。

1. 使用 analyze_image 工具

這是最直接的用法,Agent 可以讀取本地文件或 URL 並進行分析。

Use analyze_image to OCR "/tmp/screenshot.png" and tell me what it says.

2. 對話中粘貼圖片(圖像橋接)

要在對話中直接發送圖片,需要在配置中開啓圖像橋接功能。

首先,在 settings.yaml 的模型配置中聲明圖像輸入能力:

llm-deepseek.models:
  your-text-model:
    inputModalities: [text, image]

然後,在插件配置中指定要橋接的模型列表:

bridgeModels: [your-text-model]

配置完成後,在對話中直接粘貼圖片,插件會自動將其路由到視覺端點進行處理。

配置項說明

插件的核心配置項位於 Settings → 插件配置。以下爲關鍵參數:

  • apiFormat: 接口格式,可選 openai 或 anthropic。
  • baseURL: 視覺端點的 API 地址。
  • apiKey: API 密鑰。留空時將使用通用視覺 API 或本地模型。
  • model: 視覺模型名稱。
  • defaultMode: 默認分析模式,默認爲 describe。
  • maxImages: 單次調用最多支持的圖片數量,默認爲 2,最大支持 4。
  • maxBytes: 單張圖片的大小限制,默認爲 10MB。

注意事項

  1. 依賴項:插件運行僅依賴兩個輕量級庫:@deepseek-ai/schemastery 和 @deepseek-ai/dsh-settings。
  2. 權限與安全:插件以當前 DSH 進程的權限運行。安裝前應檢查源碼與許可證(MIT)。
  3. 限制條件:單次調用最多處理 4 張圖片;單張圖片最大限制爲 10MB。

總結

dsh-vision-analysis 爲 DSH 提供了標準化的視覺接入能力。它通過統一的接口屏蔽了不同視覺模型之間的差異,並提供了針對特定場景(如 OCR、圖表取數)的優化模式,適合需要在 Harness 中集成視覺能力的開發者使用。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜