DeskPilot: 將 Windows 10 交互式桌面交給 DSH Agent

前言¶

DeepSeek Harness (DSH) 的 Agent 在處理桌面級任務時，往往面臨缺乏直接操作接口的困境。傳統的 RDP 或截圖識別方案不僅成本高，且難以應對複雜的 UI 交互。爲了解決這個問題，需要一種能夠直接操控真實桌面環境的方案。下面介紹 DeskPilot 插件，它將 Windows 10 的交互式桌面能力通過 UIA、CDP 等協議開放給 DSH 的 Agent，使其能夠執行窗口觀察、真實點擊、表單填寫等操作。

是什麼¶

DeskPilot 是一個 DSH 插件，旨在把 Windows 10 的交互式桌面交給 DSH 的 Agent。它不只是一個模擬器，而是通過原生進程與桌面交互。該插件由 chengzhang0528 維護，通過宿主平面插件提供 ctx.deskpilot 接口，併爲每個會話常駐一個 win-agent.exe 進程。

核心能力¶

插件提供了以下核心功能，將 Agent 的能力從“文本處理”擴展到“物理交互”：
* 窗口與控件觀察：實時獲取當前窗口狀態及控件信息。
* UIA 動作：通過 UI Automation 協議執行界面操作。
* 真實鍵鼠模擬：模擬真實的點擊、輸入和窗口切換。
* 可信截圖：獲取高質量的桌面畫面。
* 離線 OCR：識別截圖中的文本內容。
* Chrome CDP 操作：通過 Chrome DevTools Protocol 控制 Chrome 瀏覽器頁面。

安裝與啓用¶

安裝過程分爲三步：安裝插件包、配置啓用項、重啓宿主。

1. 裝插件包¶

從本倉庫的最新 Release 資產安裝。使用 dsh plugin 命令調用 pnpm，將包加入 dsh.profile.bundles。

dsh plugin --profile web add "C:\path\to\dsh-plugin-deskpilot-0.2.0.tgz"

2. 啓用插件行並指向 CLI 製品¶

插件默認禁用，需要在 profile 的用戶層 cordis.patch.yml 中開啓。編輯 $DSH_HOME\profiles\web\cordis.patch.yml，加入以下配置：

- id: deskpilot
  disabled: false
  config:
    # CLI 製品：固定不可變地址
    asset:
      version: '6947fa5'
      platform: win-x64
      url: 'https://shared-public-assets.oss-cn-beijing.aliyuncs.com/deskpilot/cli/releases/6947fa5/dsh-bootstrap-6947fa5.zip'
      bytes: 13918926
      sha256: '6f0a3949ca155bb5106bbe2f18e6cb777e8c8ff2c1eebeb063e662585a1c21ba'
    timeoutMs: 130000
    doctorTimeoutMs: 60000
    setupTimeoutMs: 900000
    maxLineBytes: 8388608
    registerSkills: true

3. 重啓宿主¶

配置完成後，必須完全退出並重新打開 DSH 宿主，插件纔會生效。

典型用法¶

啓用後，Agent 可以通過以下工具和命令與桌面交互。

工具¶

插件提供四個會話工具：
* deskpilot_doctor：一次性進程，報告本機環境是否滿足自動化條件（UIA、截圖、OCR 等）。
* deskpilot_run：發送只讀請求，原樣返回結構化響應。
* deskpilot_batch：執行批量操作（最多 32 步），必須提供 reason。
* deskpilot_session：查看或重置驅動會話。

斜槓命令¶

在輸入框中輸入 /deskpilot 或 /dp 即可調用，不消耗模型回合：
* status：查看狀態。
* doctor：運行環境自檢。
* windows：列出當前窗口。
* reset confirm / setup：重置或重新配置。

Agent Skills¶

插件還內置了多個 Agent Skills，可按需調用：
* deskpilot-core：核心桌面操作能力。
* deskpilot-browser：瀏覽器自動化。
* deskpilot-messaging：消息處理。
* deskpilot-wechat-assistant：微信助手。
* deskpilot-testing：測試能力。
* deskpilot-flow-evolution：流程進化。

適用場景與注意¶

環境要求¶

系統：Windows 10 build 19041+，x64。
桌面：已登錄、可交互的桌面會話（鎖屏或服務會話不支持）。
運行時：首次運行需要 .NET Desktop Runtime 10 x64，插件會自動下載並安裝，可能觸發一次 UAC 提權。

權限與風險¶

真實操作：插件會操作真實的桌面，模擬點擊、輸入和窗口切換。請在有授權的環境下使用。
安全邊界：插件不繞過安全邊界，包括 UAC、安全桌面和密碼控件。驗證碼、OTP 等必須由用戶處理。
網絡限制：網絡僅訪問配置的固定 OSS 地址和微軟官方地址，不會回退到 GitHub 或 npm Registry。

總結¶

DeskPilot 讓 DSH 的 Agent 真的“動手”執行任務，而不僅僅是給建議。通過窗口觀察、UIA 動作和真實鍵鼠模擬，它填補了純文本 Agent 在桌面應用操作上的空白。如需瞭解更多細節，可參考 GitHub 倉庫或社區目錄。