dsh-olhos:为 DeepSeek Harness 智能体补上屏幕视觉与画面校验

前言

在 DeepSeek Harness(DSH)里做 Web 自动化或界面相关任务时,智能体往往只能依赖 DOM、日志或人工描述,很难直接「看见」当前画面。界面改版、异步加载或样式偏移时,文字预期和真实像素很容易脱节,后续步骤会在错误前提上继续执行。

下面介绍的 songjongdevsecops/dsh-olhos(社区目录名 dsh-olhos)面向这一类问题:在 Harness 侧为智能体提供截屏、画面漂移度量,以及用 embedding 分数把文字预期与图像做对照的能力。它归类为「模型推理」类插件,由维护者 songjongdevsecops 发布;截至收录时 GitHub 星标为 0。

DSH 本身采用「一切皆插件」的扩展方式;SkillHub 等社区目录是独立站点,与 DeepSeek、幻方无官方从属关系,安装前请以仓库源码与许可证为准自行审查。

这是什么

dsh-olhos 是一句英文简介所能概括的定位:DeepSeek Harness plugin that gives the agent eyes: capture a screen, measure drift, and check written expectations against the image with an embedding score.

换句话说,它把「看屏幕 → 量化画面变化 → 用向量相似度核对描述是否成立」串成可在智能体工作流里调用的能力,减轻纯文本推理在 UI 场景下的盲区。

核心功能

以下能力均来自上述官方简介及社区目录页的功能描述,未在公开 README 中展开的细节不在此臆测具体 API 名称。

  1. 截屏(capture a screen)
    获取当前关注区域的画面,作为后续度量和校验的输入。

  2. 漂移度量(measure drift)
    对画面变化做量化,用于判断 UI 是否相对基准或上一帧发生可见偏移,而不是仅依赖 DOM 是否仍存在。

  3. 预期与图像对照(embedding score)
    将智能体或流程中的文字预期与截屏图像放入同一套 embedding 评分逻辑,给出是否匹配的数值依据,便于在自动化里做分支或重试。

社区镜像站点在静态扫描归档中曾记录与本地浏览器调试协议(默认 http://127.0.0.1:9222)相关的实现线索;若你自行拉取源码,应以仓库内脚本与配置为准核对网络与进程行为。

安装与启用

安装命令以社区目录与插件市场归档页记载的原文为准(曾在 DSH 0.2.1-rc.2 环境下完成 L5 运行验证,作者未在 package 中声明强制 DSH 版本要求,其他版本需自行实测):

dsh plugin --profile web add github:songjongdevsecops/dsh-olhos

说明:--profile web 表示把插件挂到 Web 相关的 Harness 配置档;执行前请确认本机已安装可用的 dsh CLI,并具备从 GitHub 拉取插件源码的网络条件。

仓库可用性: 截至 2026-10-23,直接访问 GitHub 仓库 可能返回不可用;第三方市场页面亦标注「原仓库已删除或转为私有」的存档提示。若安装失败,请到 SkillHub 目录页 查看维护者是否更新了来源或镜像,不要假设历史安装命令仍有效。

安装完成后,按 DSH 惯例重新加载或重启当前 Harness 进程,使新插件进入 Cordis 工具清单(归档验证中曾出现 dsh-olhos / olhos 相关激活条目)。

典型用法(工作流层面)

公开 README 在本次撰稿时未能抓取,下面给出与简介一致、可复现到「先装插件、再在会话里走视觉校验」层面的流程,具体工具名与参数以安装后 Harness 暴露的能力列表为准。

  1. 在目标环境完成安装,并启动带 web profile 的 DSH 会话。
  2. 在需要确认界面状态时,让智能体先触发截屏,得到当前画面。
  3. 若任务关心「是否相对上一步变了」,在同一流程中调用漂移度量,用数值判断是否超出容忍范围。
  4. 将你对界面应呈现内容的文字预期与截屏一并交给插件的 embedding 对照能力,根据分数决定继续、重试或改道。
  5. 对关键路径保留截屏与分数结果,便于回归时对比是否因前端改版导致误判。

适用场景与注意

适合谁

  • 在 DSH 里做 Web UI 冒烟、可视化回归或「描述驱动」的界面断言的开发者。
  • 希望智能体在关键步骤用图像证据自检,而不是只靠 HTML 片段或臆测布局的团队。

权限与安全

  • 插件以当前 dsh 进程的权限运行;截屏与浏览器控制会触及本机显示内容与可能打开的调试端口。安装前请阅读源码、MIT 许可证(社区目录归档记载)以及静态扫描提示(例如子进程启动、本地网络连接等),确认符合你的安全基线。
  • 社区站点的自动化安全报告不是人工审计,也不能替代你对仓库的审查。
  • 勿将未经核实的安装命令用于生产环境;仓库不可用时应停止安装并寻找维护者公告。

结尾

dsh-olhos 把截屏、画面漂移和 embedding 预期校验接到 DSH 插件体系里,为智能体补上「眼睛」,适合需要像素级证据的 Web 自动化场景。查阅条目与链接:

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜