前言¶
DeepSeek Harness(DSH)的核心理念是插件化。当开发者需要构建能够操作桌面应用程序的智能体时,现有的方案往往需要编写额外的自动化脚本或进行复杂的构建配置。dsh-codex-style-computer-use 插件旨在解决这一痛点,为 DeepSeek Harness 提供原生的 Windows 桌面控制能力。
插件简介¶
该插件通过预构建的原生 C# Workers,让智能体能够像 Codex 一样“看见”并“操作” Windows 桌面。插件由 ltmroberthk915 维护,采用 MIT 许可证。
核心功能¶
1. 观察
插件提供窗口列表、屏幕截图(支持指定区域、JPEG/PNG 格式、降采样)、可点击元素的 Set-of-Marks 映射,以及带有精确 AutomationIds 的 UI Automation 树。
2. 操作
支持点击、移动、拖拽、滚动、选择文本范围、输入文本、按键,并通过 UI Automation 驱动控件,而非依赖坐标。
3. 批量执行
使用 computer_batch 调用可以串行执行一系列动作,并在首次失败时停止。这使得已知序列只需一次模型往返,而非多次。
4. 交互提问
使用 computer_ask 会在同一张聊天卡片上提出问题,无需倒计时。
5. 人工刹车
当操作被手动中断时,stop 信号会被推入会话,让智能体意识到操作被暂停,而不是在下一轮才发现。
安装与启用¶
该插件通过 dsh-market 安装,无需 PowerShell 7 或构建步骤。
dsh plugin --profile web add dsh-codex-style-computer-use
环境要求:
* 操作系统:Windows (os: win32)
* Node.js:≥ 22
* .NET Framework:4.x(Windows 自带)
典型用法¶
- 桌面应用协作:指示智能体查看屏幕、寻找控件并进行点击和输入。
- 手动接管:当需要使用自己的鼠标或键盘时,智能体会等待,不会继续执行。
- 序列执行:使用
computer_batch调用一次性运行一组已知的操作序列。 - 卡片提问:使用
computer_ask在当前的聊天卡片中直接向用户提问。
注意事项¶
- 系统限制:仅支持 Windows 平台。
- 隐私保护:插件不读取用户文件。它仅将 Worker 二进制文件写入
%LOCALAPPDATA%\dsh-computer-use\worker\,并将审计日志和截图写入$DSH_HOME/data/computer-use/。 - 默认行为:批准提示默认保持启用状态。
结语¶
该插件通过提供观察和操作能力,降低了 DeepSeek Harness 智能体与 Windows 桌面交互的门槛。更多细节可参考 GitHub 仓库 或 社区目录。