dsh-her-eyes:为 DeepSeek Harness 增加 VLM 图像分析能力

前言

在 DeepSeek Harness(dsh)的 web 会话里,一个常见需求是让模型根据图片内容继续处理任务。如果视觉模型只有单一端点,主接口不可用时,会话里的图像分析能力就容易中断;如果靠手工改配置,主备端点也容易被漏掉。

dsh-her-eyes 是面向 dsh 的一个插件,它为 web profile 提供 analyze_image 工具,并支持主备 OpenAI-compatible 视觉模型端点。

这是什么

dsh-her-eyes 是一个 Vision-Language-Model(VLM)analyzer 插件,仓库维护者是 huashenglian

它面向已经安装 web profile 的 dsh CLI,主要解决两件事:

  • dsh 会话中提供可用的 analyze_image 工具;
  • 提供一个自动保存的设置页,用于配置主备视觉模型端点。

该插件采用 MIT 许可证。

核心功能

analyze_image 工具

插件会把 analyze_image 工具注册到 global tools registry。

这意味着每个会话中都可以调用这个工具来执行图像分析,而不是只在某个特定会话里可用。

主备 VLM API

插件支持 OpenAI-compatible 的主端点和备端点。

每个端点涉及三类配置:

  • endpoint
  • apiKey
  • model

当主端点连续失败超过重试次数后,插件会自动切换到备端点继续工作。

自动保存的设置页

设置页中的每次修改都会立即保存并生效,没有单独的 Save 按钮。

设置页还可以从已配置的端点拉取模型列表。

Web 路由

插件由 host 部分提供以下 Web 路由:

/vlm/config
/vlm/models
/vlm/reset

国际化

设置页会跟随 Harness UI 语言显示,支持 English / 中文。

bundle 方式启用

这个插件是一个 bundle:它自带 cordis.patch.yml,并自我激活。

安装时不需要手工编辑 profile 的 patch。

安装与启用

依赖

先确认环境满足以下条件:

  1. 已安装 dsh CLI(DeepSeek Harness)。
  2. dsh 中已经安装 web profile。
  3. pnpmPATH 中;如果不在 PATH 中,需要使用 npx 调用指定版本的 pnpm

从 GitHub 安装

web profile 下执行:

dsh plugin --profile web add github:huashenglian/dsh-her-eyes

安装后,插件依赖和 bundle 条目会按 dsh 插件机制处理。

pnpm 不在 PATH 时

如果 pnpm 不在 PATH 中,可以改用:

npx --yes pnpm@11.7.0 add file:./plugins/dsh-her-eyes

然后手动把 "dsh-her-eyes" 加入 dsh.profile.bundles 数组。

不要手工重复插入 loader

不要把下面这类条目手工加到 profile 的 cordis.patch.yml

- insert:
    - id: her-eyes

bundle 已经会插入 her-eyes 条目。

如果重复插入,启动时会抛出:

duplicate loader entry id: her-eyes

典型用法

配置文件位置

所有配置放在一个 JSON 文件里:

$DSH_HOME/vlm-vision.json

默认路径是:

~/.dsh/vlm-vision.json

配置主备端点

可以配置主端点和备端点。每个端点包含 OpenAI-compatible endpointapiKeymodel

示例结构如下:

{
  "primary": {
    "endpoint": "https://example.com/v1",
    "apiKey": "",
    "model": "your-model"
  },
  "backup": {
    "endpoint": "",
    "apiKey": "",
    "model": ""
  }
}

注意:vlm-vision.json 中的 apiKey 应留空。apiKey 应通过设置页保存,保存后会以 masked 形式存储。

用设置页配置

在 Harness 的设置页中打开 Vision Models / VLM 相关页面。

先填写主端点的 endpointapiKeymodel,再填写备端点。每次编辑都会自动保存并生效。

也可以用设置页从端点拉取模型列表,减少手工填写模型名带来的错误。

在会话中使用

安装并配置后,analyze_image 工具会在每个会话中可用。

当主端点连续失败超过重试次数时,插件会自动切到备端点。

卸载

执行:

dsh plugin --profile web remove dsh-her-eyes

卸载会移除依赖和 bundle 条目。

vlm-vision.json 配置文件不会被删除,会保留在原有位置。

适用场景与注意

适合以下场景:

  • 需要给 dshweb 会话加入图像分析能力;
  • 希望让模型在会话中调用 analyze_image 工具;
  • 需要为视觉模型配置主备 OpenAI-compatible 端点;
  • 希望减少手工改配置和主备切换带来的中断。

使用前注意:

  • 它会在 dshweb profile 中注册工具、路由和设置页。
  • 许可证为 MIT,安装前仍建议检查源码与许可证。
  • 不要手工往 profile 的 cordis.patch.yml 中重复添加 her-eyes loader 条目。
  • apiKey 不要直接写在 vlm-vision.json 中;通过设置页保存,并保留 masked 存储。
  • 卸载插件不会删除 vlm-vision.json,如果不再需要该配置,需要自行处理。

结尾

dsh-her-eyes 的核心价值,是把 VLM 图像分析能力做成 dsh 可安装、可配置、可卸载的插件:提供 analyze_image 工具、主备视觉端点切换,以及自动保存的设置页。

当前已核实事实中未提供目录页 URL,可直接查看 GitHub 仓库:

https://github.com/huashenglian/dsh-her-eyes
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜