前言¶
DeepSeek Harness (DSH) 采用插件化架构，智能体需要直接操作桌面时，传统的像素级控制风险较高且不够语义化。computer-control 插件为 DSH 提供了桌面控制能力，包括屏幕截图、指针与键盘注入，以及基于无障碍树语义的动作操作。它内置了安全防护机制，旨在让智能体在受控环境下安全地接管桌面任务。
插件概览¶
computer-control 是一个 DSH 插件，主要用于桌面自动化操作。
- 定位：桌面控制插件
- 维护者：JohnXu22786
- 许可证：MIT
- 核心价值：结合截图观察、语义化操作与安全防护，实现受控的桌面自动化。
核心功能¶
该插件提供以下能力：
- 截图 (
screen.capture)：支持全屏或区域截图，输出格式为 PNG/JPEG，支持缩放和灰度处理。 - 指针控制 (
pointer.*)：支持移动、点击（左/中/右键，单/双/三击）、拖拽、以及横向/纵向滚动。 - 键盘控制 (
keyboard.*)：支持单键输入、组合键注入（与键盘布局无关）以及任意 Unicode 文本输入。 - 语义动作 (
a11y.*)：基于无障碍树摘要（支持骨架/标准/完整模式）执行激活和输入操作。优先使用 UIA（Windows UI Access）模式，失败时回退到像素坐标点击。 - 批量执行 (
batch.execute)：允许在一个调用中执行多个动作，可整体确认，支持错误时继续执行。 - 安全防护：内置紧急停止、允许/拒绝规则、确认流程、空闲待机和干运行模式。
- 能力广播：通过
tools.list和system.status向 DSH 暴露工具与系统状态。
安装与运行¶
在安装前，请确保环境满足以下要求：
- Python 3.9+
- Node.js >= 18（用于桥接）
- Windows 10/11（完整功能支持）
安装插件：
dsh plugin --profile demo add github:JohnXu22786/computer-control
环境检查：
python -m computer_control check
列出工具：
python -m computer_control list
启动插件服务：
插件通过 stdio 接收 JSON-RPC 2.0 请求。启动命令如下：
python -m computer_control serve
使用示例¶
插件内置了演示脚本，默认运行在干运行模式，不会对真实桌面产生实际影响：
python examples/demo.py
安全与限制¶
- 传输协议：使用逐行 JSON-RPC 2.0 作为传输协议。
- 坐标映射：模型面对的是一个虚拟画布（默认宽度 1920px），插件会将其映射回物理像素坐标。
- 高风险操作：包含 Win 键或 Ctrl+Alt 组合键的操作属于高风险，需要人工确认或触发紧急停止。
- 平台限制：目前主要支持 Windows 10/11 以获得完整功能，其他平台功能受限。
链接¶
- 插件目录：computer-control
- 源码仓库：computer-control
