前言¶
在 DeepSeek Harness（DSH）插件生态中，桌面操作类智能体的常见路径是读取 UI 树或调用 Accessibility API。这种方式依赖控件结构，跨 Windows、macOS、Linux 时差异会放大。
beijingwahw/dsh-computer-use-plugin 提供另一种实现：基于 DSH 的纯视觉 Computer Use 插件，通过屏幕截图理解界面，并完成点击、输入、滚动、拖拽等操作。下面介绍它的定位、能力、安装方式和注意事项。
这是什么¶
该插件由 beijingwahw 维护，定位为“基于 DeepSeek Harness (DSH) 构建的纯视觉 Computer Use 插件”。
它不依赖 UI 树或 Accessibility API，适用于 Win/Mac/Linux 跨平台桌面场景。插件在 DSH 中注册工具，让模型能够截图、操作桌面、处理弹窗，并对动作结果进行验证、记忆和技能沉淀。
核心能力¶
纯视觉 Grounding 与 Set-of-Mark 辅助¶
插件采用纯视觉 Grounding，不依赖 UI 树或 Accessibility API。
它会在截图上叠加 Set-of-Mark（SoM）视觉辅助，包括网格、绿色鼠标准星与元素编号框，帮助模型做更稳定的坐标判断。
上下文管理与状态锚点¶
插件使用滑动窗口、历史图像降级为文字摘要、llm/pre-request 注入等上下文管理方式，控制上下文规模。
工具返回遵循 {status, state_anchor, next_step} 三段式状态锚点协议，便于模型根据当前状态决定下一步。
桌面操作与任务编排¶
插件支持截图、点击、输入、滚动、快捷键、拖拽、标签页/窗口切换、弹窗处理等桌面操作。
长程任务可使用 start_complex_task 的 Planner-Actor 双层架构：先拆解任务，再逐步执行；子任务失败时 fail-fast。
验证、恢复与预算控制¶
插件围绕视觉操作提供多组机制：
- 行为效果验证：判断动作是否产生预期变化。
- 二阶段定位：对目标区域做更精细的定位。
- 变化门控截图：减少屏幕未变化时的重复截图。
- 自适应稳定等待：在界面稳定后执行验证。
- 防死循环守卫：拦截同签名动作的盲目重试。
- 场景指纹加成：提升同场景下记忆召回的可信度。
- 双尺度验证：区分页面级变化和元素级变化。
- 焦点追踪：围绕最近点击或拖拽终点做输入和验证。
- 预期锚定：操作前声明预期变化，操作后核对。
- 预算感知编排：长任务超时时中止，避免无限执行。
语义核对与文字感知¶
插件提供 find_text、read_text、diff_view 与 OCR 语义核对能力，并支持 expected_text 双重确认。
OCR 按需启用；语言包首次使用时联网下载，默认 eng，中文场景可用 chi_sim+eng。OCR 不可用时，语义相关能力会降级。
记忆、日志与技能库¶
插件提供场景式 UI 记忆，将验证生效的交互沉淀下来，便于后续召回。
它还提供行动日志与重放，把成功操作序列保存为可重放的动作。
自进化技能库通过 save_skill、match_skill、run_skill 使用：技能可按成功/失败回写可靠度，并用于后续匹配。
安全守卫与风险闸门¶
插件内置安全四守卫：坐标边界校验、连续失败熔断、敏感操作审计、弹窗联动拦截。
凭据输入有专门闸门：type_text 到敏感焦点时会返回 ACTION_REQUIRED，要求暂停并请用户亲自输入；待输内容不回显，显示为 [REDACTED]。
可插拔混合模式¶
插件默认走纯视觉路径，也支持可选接入本地视觉模型与无障碍 Provider，以获得更精确坐标。
安装与启用¶
环境准备¶
需要 Node.js >= 18（推荐 22）与 pnpm。
原生依赖 sharp、@nut-tree/nut-js、screenshot-desktop、tesseract.js 会随插件自动安装。
框架依赖按 peer 声明：@deepseek-ai/cordis、@deepseek-ai/dsh-tools、@deepseek-ai/schemastery，由 DSH 宿主提供。
安装插件¶
推荐安装命令：
dsh plugin add beijingwahw/dsh-computer-use-plugin --profile web
如果使用 pnpm 安装：
pnpm add dsh-computer-use-plugin@github:beijingwahw/dsh-computer-use-plugin
构建产物已入库，dist/ 随仓库分发；安装时不执行构建脚本，main 指向 dist/index.js。dsh.bundle 指向 cordis.patch.yml，插件随安装自动注册激活。
启动 DSH¶
pnpm dsh web
覆盖默认配置¶
需要覆盖默认配置时，把包内 cordis.patch.yml 的 insert 条目并入自己的 patch。
本地开发¶
git clone https://github.com/beijingwahw/dsh-computer-use-plugin
cd dsh-computer-use-plugin
pnpm install
npm run build
npm test
本地修改源码后，需要重新生成 dist/ 再验证。
典型用法¶
桌面操作¶
安装并启动 DSH 后，可在任务中使用截图、点击、输入、滚动、快捷键、拖拽、标签页/窗口切换、弹窗处理等能力。工具返回 {status, state_anchor, next_step}，模型可据此继续执行或修正。
OCR 与语义核对¶
启用 OCR 后，可结合 find_text、read_text、diff_view 与 expected_text 做语义核对与视觉差分。
开启示例：
enableOcr: true
如果 OCR 不可用，语义相关能力会降级。
长任务¶
使用 start_complex_task 提交长程任务。插件会拆解步骤并逐步执行，子任务失败时 fail-fast，并结合预算感知编排控制执行范围。
技能沉淀¶
可用 save_skill 沉淀技能，使用 match_skill 匹配相似技能，再用 run_skill 执行。每次执行结果会回写可靠度，用于后续匹配。
敏感输入¶
当输入目标被标记为敏感焦点时，type_text 会返回 ACTION_REQUIRED。此时应暂停自动输入，请用户亲自输入；待输内容显示为 [REDACTED]，不回显明文。
适用场景与注意¶
适合：
- Windows、macOS、Linux 上的跨平台桌面操作。
- 不依赖 UI 树或 Accessibility API 的视觉自动化场景。
- 需要动作验证、失败恢复、日志重放和技能沉淀的流程。
- 在 DSH 中做插件开发与本地调试。
注意：
- 插件按当前
dsh进程所具备的权限执行桌面操作。安装前建议检查源码、依赖与许可证。 - 资料未明确给出许可证名称；
package.json的files声明包含LICENSE，使用前应自行确认授权范围。 - OCR 语言包首次使用需要联网下载；离线环境需接受语义能力降级。
- DSH 插件生态强调“一切皆插件”。社区目录是独立站点，不代表 DeepSeek 或幻方的官方应用商店。
链接¶
GitHub：
https://github.com/beijingwahw/dsh-computer-use-plugin
目录页（资料线索）：
https://www.skillhub.cn/plugins/beijingwahw/dsh-computer-use-plugin
