前言¶
在 DeepSeek Harness（DSH）里让模型操作本机桌面，常见做法是注册一组 computer-use 工具，由宿主把窗口列表、截图和点击结果回传给模型。若插件默认前置窗口、显示虚拟光标，或操作后不自动回读界面，智能体容易在「以为点对了」和「界面实际没变」之间反复试错，跨应用任务也更难保持后台不打扰用户。
下面介绍社区插件 dsh-computer-use-next（维护者 KJHAJKSLFHA）：面向 macOS 的全局跨应用桌面控制，默认隐藏虚拟光标、后台选定窗口，并在窗口操作后自动回读界面，供 DSH 模型继续判断。插件归类为客户端，基于 MIT 授权的 dsh-computer-use 0.3.1 修改，变更见仓库 NOTICE；与 OpenAI、Codex 无隶属关系。
这是什么¶
dsh-computer-use-next 是 DSH 的桌面自动化插件：通过 CuaDriver 观察与操作 macOS 应用窗口，向兼容 @deepseek-ai/dsh-tools 的 DSH 宿主注册 16 个工具。当前版本 0.5.1（见仓库 package.json），仓库自带 dsh.bundle manifest 与运行时 JavaScript，不需要编译。
生态上，DSH 强调「一切皆插件」；插件目录站 SkillHub 上的条目 与 GitHub 仓库均为社区收录，与 DeepSeek / 幻方无官方从属关系。
环境与依赖¶
使用前请确认以下条件（README 原文要求）：
- 系统：macOS；其他操作系统未验证。
- 运行时：Node.js 22.18+；DSH 宿主需兼容
@deepseek-ai/dsh-tools0.2.0-rc.2 接口（package.json中engines.dsh为>=0.2.0-rc.2 <0.3.0-0）。 - CuaDriver：已安装并授予辅助功能与屏幕录制权限；README 记载实测版本 0.35.2。
- 多模态：原生图片与整屏观察需要对话模型支持图片输入；否则走窗口 AX 控件树路径。
核心功能¶
插件向模型暴露 16 个工具，覆盖列窗、切应用、观察、点击、输入与等待等能力。窗口点击、输入、按键、滚动和拖拽后自动回读原窗口，模型应检查实际变化；不同 agent 的观察缓存隔离，插件内调用串行执行。
| 工具 | 用途 |
|---|---|
desktop_windows |
全局应用窗口列表及精确窗口 ID |
app_switch |
后台选定并观察目标窗口，不主动前置 |
desktop_observe |
主显示器整屏图片（含 Dock 和菜单栏） |
desktop_click |
全局坐标点击及回读；后台模式默认禁用 |
screen_observe |
窗口 AX 控件树及可用截图 |
screen_zoom |
局部截图 |
computer_click / computer_double_click / computer_right_click |
窗口点击、双击、右键 |
computer_type / computer_key |
目标窗口文本输入及快捷键 |
computer_scroll / computer_drag |
窗口内滚动及拖拽 |
computer_wait |
等待加载 |
app_list / app_launch |
应用列表及启动 |
后台与前台默认行为¶
默认 backgroundOnly=true、animateCursor=false：驱动会话初始化与恢复时关闭虚拟光标，不隐藏用户自己的鼠标。后台模式禁止主动前置及 desktop_click；跨应用工作依赖 app_launch 与 app_switch。不支持后台的操作会失败，不会自动前置重试。若需要点击 Dock / 菜单栏，可显式设置 backgroundOnly=false。整屏坐标与窗口坐标不能混用。
README 注明：多屏、其他 Space、最小化窗口及完整模型驱动的跨应用长任务未验证；未实现跨窗口拖拽、视频流或独立无人值守规划。
数据与权限¶
截图经 DSH attachments 服务处理，可能按模型路由发送给模型服务商。显式 vision 模式可继承上游观察者及可选 GLM fallback（密钥与请求见 lib/vision.js）；默认 native/AX 路径不新增密钥。快照 TTL、应用白名单和部分按钮审批规则不是完整安全保障；坐标点击与快捷键不能可靠推断业务后果，详见仓库 PERMISSIONS.md。
安装与启用¶
发布后可通过 GitHub Release 中的 dsh-computer-use-next.tgz 安装，或由收录后的 DSH 插件市场安装。
本机已有 桌面 profile（~/.dsh/profiles/desktop）时，可用手动安装脚本。脚本只复制插件、备份并追加配置，不重启应用、不更改模型账号：
python3 install.py
若已启用旧版 dsh-computer-use，请先禁用旧版，避免同名工具重复注册；本插件不会擅自禁用其他插件。其他 profile 请使用宿主自带的插件安装方式。
安装前建议阅读仓库源码与 MIT 许可证（及 NOTICE 中的上游变更说明）。插件以当前 DSH 进程权限运行，授予 CuaDriver 的权限等同于向该智能体开放本机桌面观测与输入能力。
典型用法¶
README 给出的任务示例（可据此设计 prompt，逐步核对界面）：
使用
desktop_windows查看窗口，选定计算器计算 12+34，再观察另一个应用，最后回到计算器核对结果。保持后台，每步检查界面，不重复执行结果未知的动作。
流程可概括为：先列窗 → app_switch 后台锁定目标 → 在窗口内点击/输入 → 依赖自动回读确认结果 → 再切到其他应用或回到原窗口验证。
验证与卸载¶
仓库提供自动测试与卸载命令：
node --test tests/*.test.mjs
python3 install.py --uninstall
README 记载 16 项自动测试通过；实际验证了计算器点击与截图回读、计算器与 DSH 的后台窗口观察、1568×1014 整屏读取及虚拟光标关闭。完整模型任务尚未验证。卸载只移除本插件的配置块，保留其他配置及插件文件；下一次启动或宿主重新加载配置后生效。
适用场景与注意¶
适合：在 macOS 上、已配置 CuaDriver 与 DSH 桌面 profile 的开发者，希望智能体以后台优先方式跨应用读屏与操作窗口，且愿意在每步操作后根据回读结果做判断。
注意：仅 macOS；后台能力与各应用弹窗、焦点行为有关，不能保证所有软件完全后台运行。需要 Dock/菜单栏全局点击时要切前台模式。选用插件前请在 SkillHub 条目与 GitHub 仓库核对版本与权限说明。
链接¶
- 插件目录：https://www.skillhub.cn/plugins/KJHAJKSLFHA/dsh-computer-use-next
- 源码与文档：https://github.com/KJHAJKSLFHA/dsh-computer-use-next
dsh-computer-use-next 把「后台观察 + 操作后回读 + 隐藏 agent 光标」作为默认路径，减少桌面自动化对前台的干扰，并把界面变化交回模型逐步核对——在 DSH 插件体系里，这是面向 macOS 跨应用桌面任务的一条可核对、可卸载的客户端扩展。
