dsh-open-eyes:为 DeepSeek Harness 增加可配置视觉能力

前言

在 DSH 的智能体会话中,截图、图表、界面照片和错误信息经常需要被理解,而不只是被保存。如果希望把这类视觉任务委托给一个可配置的多模态模型,可以使用 dsh-open-eyes

dsh-open-eyeshyper-dsh-plugins 维护,是一个独立社区项目。资料声明,它与 DeepSeek 没有隶属、背书或维护关系。下面介绍它的定位、可核实能力、安装方式、配置路径和典型用法。

这是什么

dsh-open-eyes 为 DeepSeek Harness 增加可配置视觉能力。主模型可以把视觉任务委托给所选的多模态模型,分析结果以文本形式返回到同一会话中供主模型使用。

它支持通过 OpenAI ResponsesOpenAI Chat CompletionsAnthropic Messages 端点接入视觉模型。也就是说,它不绑定某个模型厂商;使用者需要自行配置 API endpoint、模型和 API Key。

核心功能

下面介绍已核实的功能点。

委托视觉任务

  • 为 DeepSeek Harness 增加可配置视觉能力。
  • 主模型可将视觉任务委托给所选多模态模型。
  • 支持 OpenAI ResponsesOpenAI Chat CompletionsAnthropic Messages 端点。

管理多个视觉方案

dsh-open-eyes 支持创建多个视觉方案,并切换默认方案。每个方案可配置:

  • 显示名称。
  • API endpoint。
  • 模型。
  • API Key。

模型可以手动输入,也可以使用 Fetch models 读取服务端的模型列表。

校验连接与配置

插件提供配置校验能力:

  • Validate connection:校验当前连接配置。
  • Save and validate:保存并立即校验新配置或已编辑配置。

视觉分析偏好

插件支持视觉分析偏好设置,包括:

  • Visual analysis
  • Focus areas
  • Custom supplement,最多 50 词或文本单位。

默认视觉方案和视觉偏好可以实时更改,无需重建会话。

图像来源与文件支持

  • 支持本地 PNGJPEGWebPGIF 文件。
  • 相对路径从当前 Agent 会话工作目录解析。
  • Remote image URLs 默认禁用,可通过高级配置启用。

API Key 保存方式

API Key 仅通过 DSH Credentials 保存,不写入插件 Settings 或 cordis.patch.yml

安装与启用

环境要求

安装前需要满足以下要求:

  • Node.js >=22.19.0
  • dsh-open-eyes 要求与 DSH 精确一对一版本匹配。
  • 发布版本既不向前也不向后兼容。

安装命令

README 按 DSH 版本提供对应安装命令。下面以 package.json 版本 0.1.2-alpha.1 对应的安装命令为例:

dsh plugin --profile web add dsh-open-eyes@0.1.2-alpha.1

如果你的 DSH 版本不是 0.1.2-alpha.1,需要先确认当前 DSH 版本,再使用 README 中对应的安装命令。

安装后操作

安装完成后,按顺序做两件事:

1、重启 DSH Web。
2、重新加载页面。

DSH profiles 相互独立。如果要在多个 profile 中使用该插件,需要在每个要使用的 profile 中分别安装。

Enable 状态

创建会话时启用 Open Eyes,该会话会将 Web 图片通过配置好的视觉工作流处理。

创建会话时禁用 Open Eyes,图片处理交给 DSH。

Enable 状态在会话创建时固定。已有会话保留创建时的状态,即使后续切换开关,也不会改变已有会话的该状态。

配置视觉方案

在 DSH 中打开:

Settings → Plugins → Plugin configuration

展开 Open Eyes,可以看到视觉方案配置。

配置一个方案时,通常需要填写:

显示名称
API endpoint
模型
API Key

其中,API Key 只通过 DSH Credentials 保存。插件 Settings 中保留引用关系即可,不要把 Key 当作普通插件设置写入。

配置完成后,可以先用 Validate connection 检查连接,再使用 Save and validate 保存并校验。切换默认方案后,下一次视觉分析会使用新选中的方案。

配置视觉偏好

视觉偏好用于调整视觉分析的关注点。可配置项包括:

  • Visual analysis
  • Focus areas
  • Custom supplement

Custom supplement 用于补充自己的要求,长度限制为最多 50 词或文本单位。

偏好设置可以实时更改。修改后,下一次视觉分析会使用新的偏好,不需要重建会话。

典型用法

在 DSH Web 中发送图片

基本流程是:

1、在 DSH Web 中粘贴、拖入或选择图片。
2、输入你真正想让模型回答的问题。
3、正常发送。

发送后,dsh-open-eyes 会将视觉任务交给配置好的多模态模型处理,并将分析结果作为文本返回给会话继续使用。

让 Agent 分析已有图像文件

如果图像文件已经存在于 Agent 会话工作目录,可以直接用自然语言要求分析。例如:

Call vision_analyze on screenshots/error.png. Transcribe the exact error code and describe the actions visibly available in the interface.

这条请求适合用于本地图片文件。screenshots/error.png 这类相对路径会从当前 Agent 会话工作目录解析。

支持的本地图像类型

当前已核实的本地文件支持包括:

PNG
JPEG
WebP
GIF

Remote image URLs 默认禁用。如果确实需要处理远程图片 URL,需要通过高级配置启用。

适用场景与注意

适合谁使用

如果你正在使用 DSH,并且希望满足以下需求之一,dsh-open-eyes 是合适的插件:

  • 希望把图像理解任务委托给可配置的多模态模型。
  • 希望管理多个视觉模型方案,并切换默认方案。
  • 希望对视觉分析的 Visual analysisFocus areasCustom supplement 做统一控制。
  • 希望限制图像来源,默认只处理本地文件,并可选择启用远程 URL。

安装前注意

dsh-open-eyes 以当前 DSH 进程权限运行。安装前,建议先检查源码和许可证。资料未明确许可证类型,因此不要把它当作已经确认的许可证声明。

还需要注意以下几点:

  • 插件要求与 DSH 精确一对一版本匹配。
  • 安装命令需要按 DSH 版本选择。
  • DSH profiles 相互独立,需要在每个要使用的 profile 中分别安装。
  • 安装后需重启 DSH Web 并重新加载页面。
  • API Key 只通过 DSH Credentials 保存,不写入插件 Settings 或 cordis.patch.yml
  • Remote image URLs 默认禁用,启用属于高级配置行为。

高级配置

高级配置位于 cordis.patch.yml。已核实的配置范围包括:

请求限制
重试
自定义请求头
认证覆盖
远程 URL
文件系统策略

在 Settings 中编辑方案时,cordis.patch.yml 中对应的高级配置会被保留。

参考链接

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜