前言¶
在 DSH 的智能体会话中,截图、图表、界面照片和错误信息经常需要被理解,而不只是被保存。如果希望把这类视觉任务委托给一个可配置的多模态模型,可以使用 dsh-open-eyes。
dsh-open-eyes 由 hyper-dsh-plugins 维护,是一个独立社区项目。资料声明,它与 DeepSeek 没有隶属、背书或维护关系。下面介绍它的定位、可核实能力、安装方式、配置路径和典型用法。
这是什么¶
dsh-open-eyes 为 DeepSeek Harness 增加可配置视觉能力。主模型可以把视觉任务委托给所选的多模态模型,分析结果以文本形式返回到同一会话中供主模型使用。
它支持通过 OpenAI Responses、OpenAI Chat Completions 和 Anthropic Messages 端点接入视觉模型。也就是说,它不绑定某个模型厂商;使用者需要自行配置 API endpoint、模型和 API Key。
核心功能¶
下面介绍已核实的功能点。
委托视觉任务¶
- 为 DeepSeek Harness 增加可配置视觉能力。
- 主模型可将视觉任务委托给所选多模态模型。
- 支持
OpenAI Responses、OpenAI Chat Completions和Anthropic Messages端点。
管理多个视觉方案¶
dsh-open-eyes 支持创建多个视觉方案,并切换默认方案。每个方案可配置:
- 显示名称。
- API endpoint。
- 模型。
- API Key。
模型可以手动输入,也可以使用 Fetch models 读取服务端的模型列表。
校验连接与配置¶
插件提供配置校验能力:
Validate connection:校验当前连接配置。Save and validate:保存并立即校验新配置或已编辑配置。
视觉分析偏好¶
插件支持视觉分析偏好设置,包括:
Visual analysis。Focus areas。Custom supplement,最多 50 词或文本单位。
默认视觉方案和视觉偏好可以实时更改,无需重建会话。
图像来源与文件支持¶
- 支持本地
PNG、JPEG、WebP和GIF文件。 - 相对路径从当前 Agent 会话工作目录解析。
- Remote image URLs 默认禁用,可通过高级配置启用。
API Key 保存方式¶
API Key 仅通过 DSH Credentials 保存,不写入插件 Settings 或 cordis.patch.yml。
安装与启用¶
环境要求¶
安装前需要满足以下要求:
- Node.js
>=22.19.0。 dsh-open-eyes要求与 DSH 精确一对一版本匹配。- 发布版本既不向前也不向后兼容。
安装命令¶
README 按 DSH 版本提供对应安装命令。下面以 package.json 版本 0.1.2-alpha.1 对应的安装命令为例:
dsh plugin --profile web add dsh-open-eyes@0.1.2-alpha.1
如果你的 DSH 版本不是 0.1.2-alpha.1,需要先确认当前 DSH 版本,再使用 README 中对应的安装命令。
安装后操作¶
安装完成后,按顺序做两件事:
1、重启 DSH Web。
2、重新加载页面。
DSH profiles 相互独立。如果要在多个 profile 中使用该插件,需要在每个要使用的 profile 中分别安装。
Enable 状态¶
创建会话时启用 Open Eyes,该会话会将 Web 图片通过配置好的视觉工作流处理。
创建会话时禁用 Open Eyes,图片处理交给 DSH。
Enable 状态在会话创建时固定。已有会话保留创建时的状态,即使后续切换开关,也不会改变已有会话的该状态。
配置视觉方案¶
在 DSH 中打开:
Settings → Plugins → Plugin configuration
展开 Open Eyes,可以看到视觉方案配置。
配置一个方案时,通常需要填写:
显示名称
API endpoint
模型
API Key
其中,API Key 只通过 DSH Credentials 保存。插件 Settings 中保留引用关系即可,不要把 Key 当作普通插件设置写入。
配置完成后,可以先用 Validate connection 检查连接,再使用 Save and validate 保存并校验。切换默认方案后,下一次视觉分析会使用新选中的方案。
配置视觉偏好¶
视觉偏好用于调整视觉分析的关注点。可配置项包括:
Visual analysis。Focus areas。Custom supplement。
Custom supplement 用于补充自己的要求,长度限制为最多 50 词或文本单位。
偏好设置可以实时更改。修改后,下一次视觉分析会使用新的偏好,不需要重建会话。
典型用法¶
在 DSH Web 中发送图片¶
基本流程是:
1、在 DSH Web 中粘贴、拖入或选择图片。
2、输入你真正想让模型回答的问题。
3、正常发送。
发送后,dsh-open-eyes 会将视觉任务交给配置好的多模态模型处理,并将分析结果作为文本返回给会话继续使用。
让 Agent 分析已有图像文件¶
如果图像文件已经存在于 Agent 会话工作目录,可以直接用自然语言要求分析。例如:
Call vision_analyze on screenshots/error.png. Transcribe the exact error code and describe the actions visibly available in the interface.
这条请求适合用于本地图片文件。screenshots/error.png 这类相对路径会从当前 Agent 会话工作目录解析。
支持的本地图像类型¶
当前已核实的本地文件支持包括:
PNG
JPEG
WebP
GIF
Remote image URLs 默认禁用。如果确实需要处理远程图片 URL,需要通过高级配置启用。
适用场景与注意¶
适合谁使用¶
如果你正在使用 DSH,并且希望满足以下需求之一,dsh-open-eyes 是合适的插件:
- 希望把图像理解任务委托给可配置的多模态模型。
- 希望管理多个视觉模型方案,并切换默认方案。
- 希望对视觉分析的
Visual analysis、Focus areas和Custom supplement做统一控制。 - 希望限制图像来源,默认只处理本地文件,并可选择启用远程 URL。
安装前注意¶
dsh-open-eyes 以当前 DSH 进程权限运行。安装前,建议先检查源码和许可证。资料未明确许可证类型,因此不要把它当作已经确认的许可证声明。
还需要注意以下几点:
- 插件要求与 DSH 精确一对一版本匹配。
- 安装命令需要按 DSH 版本选择。
- DSH profiles 相互独立,需要在每个要使用的 profile 中分别安装。
- 安装后需重启 DSH Web 并重新加载页面。
- API Key 只通过 DSH Credentials 保存,不写入插件 Settings 或
cordis.patch.yml。 - Remote image URLs 默认禁用,启用属于高级配置行为。
高级配置¶
高级配置位于 cordis.patch.yml。已核实的配置范围包括:
请求限制
重试
自定义请求头
认证覆盖
远程 URL
文件系统策略
在 Settings 中编辑方案时,cordis.patch.yml 中对应的高级配置会被保留。