DeepSeek Harness(DSH)的插件体系允许开发者扩展 Agent 的能力。桌面自动化是其中的关键场景之一。dsh-computer-use_codex-style 插件基于 Codex 的 window2 工具面,为 DSH 提供了一套完整的桌面控制方案,无需依赖 Codex 本身。
核心功能¶
该插件提供了 13 种 Codex 官方 window2 方法,覆盖桌面应用和 Chromium 浏览器的控制:
list_windows,get_window,list_apps,launch_app,get_window_stateclick,press_key,type_text,scroll,set_value,drag,perform_secondary_action,activate_window
它使用 SendInput 进行真实输入,利用 UI Automation 获取无障碍树,并使用 Windows.Graphics.Capture 进行截图(即使窗口被遮挡也能工作)。截图作为视觉图像部分返回,不会以 base64 编码的形式包含在 JSON 中。
安装与启用¶
插件采用 Harness 原生 Bundle 方式分发,包含 package.json、cordis.patch.yml 和入口模块。
1. 安装插件¶
在终端执行以下命令安装插件包:
dsh plugin --profile web add github:wushi2333/dsh-computer-use_codex-style
2. 配置工具行¶
桌面工具被设计在 Agent 预设(Preset)中,而不是宿主组合。在目标预设的 agent.cordis.yml 中添加以下配置:
- id: tool-computer-use
name: dsh-computer-use/tool
config:
surfaces:
- computer
browserSkill: computer-use-browser
3. 同步技能包¶
插件内置了两个技能,需要复制到 Harness 读取的技能目录中:
node node_modules/dsh-computer-use/scripts/sync-skills.mjs --write --defaults
4. 重启并运行¶
重启 Profile(插件层的变更在启动时读取),使用该预设启动会话,并给出具体指令。
典型用法¶
以下是一个可复现的示例:
“Open Notepad and turn these bullets into a clean draft.”
首次调用工具时会启动辅助进程,状态胶囊(Status pill)会出现,模型开始观察、行动、刷新的循环。按 Esc 键可随时中断当前回合。
运行环境与限制¶
- 系统要求:Windows 10 1809+ 或 Windows 11,x64 架构。
- 依赖工具:DeepSeek Harness、Node.js 20+。
- 可选依赖:Python 3.10+(用于浏览器目录)、Rust(用于重新编译辅助程序,插件已提供预编译二进制)。
- 共存性:与官方 Harness 插件共存安全,但建议不要同时运行两套驱动程序。
安全与体验¶
- 权限控制:
launch_app和音频录制会暂停等待 Harness 的批准 UI。批准是按应用进行的,且从不静默。 - 状态刷新:基于身份的刷新机制,而非时间 TTL。一旦检测到窗口身份发生变化或有人类输入,下一次输入会被拒绝。
- 双层架构:桌面指针、遮罩、截图和批准逻辑运行在 HOST 层(进程级),工具定义在 PRESET 层(Agent 级),确保普通编码会话不会获得鼠标控制权。
总结¶
该插件通过验证的 Codex 基线实现,为 DeepSeek Harness 提供了稳定的桌面控制能力。它采用 MIT 许可证,适合需要在 DSH 环境中实现复杂桌面交互的开发者。