DeskPilot: Handing the Windows 10 Interactive Desktop Over to a DSH Agent

前言¶

DeepSeek Harness (DSH) 的 Agent 在处理桌面级任务时，往往面临缺乏直接操作接口的困境。传统的 RDP 或截图识别方案不仅成本高，且难以应对复杂的 UI 交互。为了解决这个问题，需要一种能够直接操控真实桌面环境的方案。下面介绍 DeskPilot 插件，它将 Windows 10 的交互式桌面能力通过 UIA、CDP 等协议开放给 DSH 的 Agent，使其能够执行窗口观察、真实点击、表单填写等操作。

是什么¶

DeskPilot 是一个 DSH 插件，旨在把 Windows 10 的交互式桌面交给 DSH 的 Agent。它不只是一个模拟器，而是通过原生进程与桌面交互。该插件由 chengzhang0528 维护，通过宿主平面插件提供 ctx.deskpilot 接口，并为每个会话常驻一个 win-agent.exe 进程。

核心能力¶

插件提供了以下核心功能，将 Agent 的能力从“文本处理”扩展到“物理交互”：
* 窗口与控件观察：实时获取当前窗口状态及控件信息。
* UIA 动作：通过 UI Automation 协议执行界面操作。
* 真实键鼠模拟：模拟真实的点击、输入和窗口切换。
* 可信截图：获取高质量的桌面画面。
* 离线 OCR：识别截图中的文本内容。
* Chrome CDP 操作：通过 Chrome DevTools Protocol 控制 Chrome 浏览器页面。

安装与启用¶

安装过程分为三步：安装插件包、配置启用项、重启宿主。

1. 装插件包¶

从本仓库的最新 Release 资产安装。使用 dsh plugin 命令调用 pnpm，将包加入 dsh.profile.bundles。

dsh plugin --profile web add "C:\path\to\dsh-plugin-deskpilot-0.2.0.tgz"

2. 启用插件行并指向 CLI 制品¶

插件默认禁用，需要在 profile 的用户层 cordis.patch.yml 中开启。编辑 $DSH_HOME\profiles\web\cordis.patch.yml，加入以下配置：

- id: deskpilot
  disabled: false
  config:
    # CLI 制品：固定不可变地址
    asset:
      version: '6947fa5'
      platform: win-x64
      url: 'https://shared-public-assets.oss-cn-beijing.aliyuncs.com/deskpilot/cli/releases/6947fa5/dsh-bootstrap-6947fa5.zip'
      bytes: 13918926
      sha256: '6f0a3949ca155bb5106bbe2f18e6cb777e8c8ff2c1eebeb063e662585a1c21ba'
    timeoutMs: 130000
    doctorTimeoutMs: 60000
    setupTimeoutMs: 900000
    maxLineBytes: 8388608
    registerSkills: true

3. 重启宿主¶

配置完成后，必须完全退出并重新打开 DSH 宿主，插件才会生效。

典型用法¶

启用后，Agent 可以通过以下工具和命令与桌面交互。

工具¶

插件提供四个会话工具：
* deskpilot_doctor：一次性进程，报告本机环境是否满足自动化条件（UIA、截图、OCR 等）。
* deskpilot_run：发送只读请求，原样返回结构化响应。
* deskpilot_batch：执行批量操作（最多 32 步），必须提供 reason。
* deskpilot_session：查看或重置驱动会话。

斜杠命令¶

在输入框中输入 /deskpilot 或 /dp 即可调用，不消耗模型回合：
* status：查看状态。
* doctor：运行环境自检。
* windows：列出当前窗口。
* reset confirm / setup：重置或重新配置。

Agent Skills¶

插件还内置了多个 Agent Skills，可按需调用：
* deskpilot-core：核心桌面操作能力。
* deskpilot-browser：浏览器自动化。
* deskpilot-messaging：消息处理。
* deskpilot-wechat-assistant：微信助手。
* deskpilot-testing：测试能力。
* deskpilot-flow-evolution：流程进化。

适用场景与注意¶

环境要求¶

系统：Windows 10 build 19041+，x64。
桌面：已登录、可交互的桌面会话（锁屏或服务会话不支持）。
运行时：首次运行需要 .NET Desktop Runtime 10 x64，插件会自动下载并安装，可能触发一次 UAC 提权。

权限与风险¶

真实操作：插件会操作真实的桌面，模拟点击、输入和窗口切换。请在有授权的环境下使用。
安全边界：插件不绕过安全边界，包括 UAC、安全桌面和密码控件。验证码、OTP 等必须由用户处理。
网络限制：网络仅访问配置的固定 OSS 地址和微软官方地址，不会回退到 GitHub 或 npm Registry。

总结¶

DeskPilot 让 DSH 的 Agent 真的“动手”执行任务，而不仅仅是给建议。通过窗口观察、UIA 动作和真实键鼠模拟，它填补了纯文本 Agent 在桌面应用操作上的空白。如需了解更多细节，可参考 GitHub 仓库或社区目录。