前言¶
DeepSeek Harness (DSH) 的插件生态中，dsh-pc-pilot 提供了本地 Windows 桌面与浏览器操作能力。该插件让模型拥有一个 computer 工具，用于观察和操作本地环境。它通过 UIA 无障碍树、后台合成输入和持久化 Chromium CDP 会话，解决了传统自动化容易抢占焦点、难以处理遮挡窗口的问题。
插件概览¶
dsh-pc-pilot 是一个运行在 Windows 10/11 上的 computer-use runtime，同时作为 DeepSeek Harness 的宿主插件。它提供了命令行接口 (CLI)，核心能力包括 UIA 无障碍访问、遮挡免疫的窗口截图、后台合成输入以及持久化的 Chromium CDP 会话。
- 项目名称：dsh-pc-pilot
- 维护者：JeremyWangCY
- 开源协议：MIT
- 当前版本：0.4.10
核心功能¶
插件提供桌面与浏览器一体化操作能力，主要功能包括：
桌面控制¶
- 应用与窗口管理：
list_apps、list_windows、get_window、launch_app、get_window_state、activate_window、minimize_window。 - 基础交互：
click、press_key、type_text、scroll、drag、set_value、perform_secondary_action。
浏览器控制¶
- 会话管理：
browser_tabs、browser_history、browser_downloads、browser_state、browser_observe。 - 导航与操作：
browser_back、browser_forward、browser_wait、browser_events、browser_click、browser_type、browser_replace、browser_key。
高级特性¶
- 身份识别：支持
include_text: true以获取稳定的元素 ID，支持app_identity和identity_key进行精确应用定位。 - 状态与恢复：支持
expect postconditions验证后置条件，支持recovery: foreground_once恢复策略。 - 批量执行：支持通过
actions组合发送最多 20 个有序动作，并使用when作为前置条件进行状态检查。
运行机制与特性¶
针对抢占焦点的痛点，插件使用 Browser CDP、UIA 模式和目标窗口消息来避免抢夺焦点。
- 遮挡免疫与后台输入：在指定
app后，坐标点击直接作用于目标窗口的 UIA 树或 HWND，即使窗口被完全覆盖也能操作。后台输入支持经过能力路由，缓存已知不支持的后台路径以减少重试。 - 状态绑定：
get_window_state返回快照 ID，元素操作需绑定该快照，过期或错误的快照会被拒绝，确保操作在正确的上下文中执行。 - 浏览器会话复用：使用持久化的 CDP WebSocket 会话，支持批量观察与导航，避免每次操作重新建立连接。
- 安全边界：插件使用外部截止期限 watchdog，提供有界失败语义，超时或连接错误不会导致重放自动触发。
安装与启用¶
目前未提供官方的安装命令。安装方式为从 GitHub 仓库获取源码。
适用场景与注意¶
- 运行环境：插件以当前 dsh 进程权限运行，安装前应检查源码与许可证。
- 会话限制：不支持虚拟机、第二桌面或隐藏的 Windows 会话。
- 后台路径评估：捕获和后台输入支持是按应用分别评估的。如果应用真正需要前台
SendInput，插件会报告后台路径不可用。 - 模型归属：应用特定的对象模型、自动化 API 和领域集成应放在单独的插件中，而不是 PC-Pilot 核心中。
短结尾¶
dsh-pc-pilot 为智能体提供了在本地 Windows 环境中安全操作的基础设施。更多细节请查阅插件目录或 GitHub 仓库。
