dsh-her-eyes:爲 DeepSeek Harness 增加 VLM 圖像分析能力

前言

在 DeepSeek Harness(dsh)的 web 會話裏,一個常見需求是讓模型根據圖片內容繼續處理任務。如果視覺模型只有單一端點,主接口不可用時,會話裏的圖像分析能力就容易中斷;如果靠手工改配置,主備端點也容易被漏掉。

dsh-her-eyes 是面向 dsh 的一個插件,它爲 web profile 提供 analyze_image 工具,並支持主備 OpenAI-compatible 視覺模型端點。

這是什麼

dsh-her-eyes 是一個 Vision-Language-Model(VLM)analyzer 插件,倉庫維護者是 huashenglian

它面向已經安裝 web profile 的 dsh CLI,主要解決兩件事:

  • dsh 會話中提供可用的 analyze_image 工具;
  • 提供一個自動保存的設置頁,用於配置主備視覺模型端點。

該插件採用 MIT 許可證。

核心功能

analyze_image 工具

插件會把 analyze_image 工具註冊到 global tools registry。

這意味着每個會話中都可以調用這個工具來執行圖像分析,而不是隻在某個特定會話裏可用。

主備 VLM API

插件支持 OpenAI-compatible 的主端點和備端點。

每個端點涉及三類配置:

  • endpoint
  • apiKey
  • model

當主端點連續失敗超過重試次數後,插件會自動切換到備端點繼續工作。

自動保存的設置頁

設置頁中的每次修改都會立即保存並生效,沒有單獨的 Save 按鈕。

設置頁還可以從已配置的端點拉取模型列表。

Web 路由

插件由 host 部分提供以下 Web 路由:

/vlm/config
/vlm/models
/vlm/reset

國際化

設置頁會跟隨 Harness UI 語言顯示,支持 English / 中文。

bundle 方式啓用

這個插件是一個 bundle:它自帶 cordis.patch.yml,並自我激活。

安裝時不需要手工編輯 profile 的 patch。

安裝與啓用

依賴

先確認環境滿足以下條件:

  1. 已安裝 dsh CLI(DeepSeek Harness)。
  2. dsh 中已經安裝 web profile。
  3. pnpmPATH 中;如果不在 PATH 中,需要使用 npx 調用指定版本的 pnpm

從 GitHub 安裝

web profile 下執行:

dsh plugin --profile web add github:huashenglian/dsh-her-eyes

安裝後,插件依賴和 bundle 條目會按 dsh 插件機制處理。

pnpm 不在 PATH 時

如果 pnpm 不在 PATH 中,可以改用:

npx --yes pnpm@11.7.0 add file:./plugins/dsh-her-eyes

然後手動把 "dsh-her-eyes" 加入 dsh.profile.bundles 數組。

不要手工重複插入 loader

不要把下面這類條目手工加到 profile 的 cordis.patch.yml

- insert:
    - id: her-eyes

bundle 已經會插入 her-eyes 條目。

如果重複插入,啓動時會拋出:

duplicate loader entry id: her-eyes

典型用法

配置文件位置

所有配置放在一個 JSON 文件裏:

$DSH_HOME/vlm-vision.json

默認路徑是:

~/.dsh/vlm-vision.json

配置主備端點

可以配置主端點和備端點。每個端點包含 OpenAI-compatible endpointapiKeymodel

示例結構如下:

{
  "primary": {
    "endpoint": "https://example.com/v1",
    "apiKey": "",
    "model": "your-model"
  },
  "backup": {
    "endpoint": "",
    "apiKey": "",
    "model": ""
  }
}

注意:vlm-vision.json 中的 apiKey 應留空。apiKey 應通過設置頁保存,保存後會以 masked 形式存儲。

用設置頁配置

在 Harness 的設置頁中打開 Vision Models / VLM 相關頁面。

先填寫主端點的 endpointapiKeymodel,再填寫備端點。每次編輯都會自動保存並生效。

也可以用設置頁從端點拉取模型列表,減少手工填寫模型名帶來的錯誤。

在會話中使用

安裝並配置後,analyze_image 工具會在每個會話中可用。

當主端點連續失敗超過重試次數時,插件會自動切到備端點。

卸載

執行:

dsh plugin --profile web remove dsh-her-eyes

卸載會移除依賴和 bundle 條目。

vlm-vision.json 配置文件不會被刪除,會保留在原有位置。

適用場景與注意

適合以下場景:

  • 需要給 dshweb 會話加入圖像分析能力;
  • 希望讓模型在會話中調用 analyze_image 工具;
  • 需要爲視覺模型配置主備 OpenAI-compatible 端點;
  • 希望減少手工改配置和主備切換帶來的中斷。

使用前注意:

  • 它會在 dshweb profile 中註冊工具、路由和設置頁。
  • 許可證爲 MIT,安裝前仍建議檢查源碼與許可證。
  • 不要手工往 profile 的 cordis.patch.yml 中重複添加 her-eyes loader 條目。
  • apiKey 不要直接寫在 vlm-vision.json 中;通過設置頁保存,並保留 masked 存儲。
  • 卸載插件不會刪除 vlm-vision.json,如果不再需要該配置,需要自行處理。

結尾

dsh-her-eyes 的核心價值,是把 VLM 圖像分析能力做成 dsh 可安裝、可配置、可卸載的插件:提供 analyze_image 工具、主備視覺端點切換,以及自動保存的設置頁。

當前已覈實事實中未提供目錄頁 URL,可直接查看 GitHub 倉庫:

https://github.com/huashenglian/dsh-her-eyes
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜