前言¶
DeepSeek Harness (DSH) 的插件生態中，dsh-pc-pilot 提供了本地 Windows 桌面與瀏覽器操作能力。該插件讓模型擁有一個 computer 工具，用於觀察和操作本地環境。它通過 UIA 無障礙樹、後臺合成輸入和持久化 Chromium CDP 會話，解決了傳統自動化容易搶佔焦點、難以處理遮擋窗口的問題。
插件概覽¶
dsh-pc-pilot 是一個運行在 Windows 10/11 上的 computer-use runtime，同時作爲 DeepSeek Harness 的宿主插件。它提供了命令行接口 (CLI)，核心能力包括 UIA 無障礙訪問、遮擋免疫的窗口截圖、後臺合成輸入以及持久化的 Chromium CDP 會話。
- 項目名稱：dsh-pc-pilot
- 維護者：JeremyWangCY
- 開源協議：MIT
- 當前版本：0.4.10
核心功能¶
插件提供桌面與瀏覽器一體化操作能力，主要功能包括：
桌面控制¶
- 應用與窗口管理：
list_apps、list_windows、get_window、launch_app、get_window_state、activate_window、minimize_window。 - 基礎交互：
click、press_key、type_text、scroll、drag、set_value、perform_secondary_action。
瀏覽器控制¶
- 會話管理：
browser_tabs、browser_history、browser_downloads、browser_state、browser_observe。 - 導航與操作：
browser_back、browser_forward、browser_wait、browser_events、browser_click、browser_type、browser_replace、browser_key。
高級特性¶
- 身份識別：支持
include_text: true以獲取穩定的元素 ID，支持app_identity和identity_key進行精確應用定位。 - 狀態與恢復：支持
expect postconditions驗證後置條件，支持recovery: foreground_once恢復策略。 - 批量執行：支持通過
actions組合發送最多 20 個有序動作，並使用when作爲前置條件進行狀態檢查。
運行機制與特性¶
針對搶佔焦點的痛點，插件使用 Browser CDP、UIA 模式和目標窗口消息來避免搶奪焦點。
- 遮擋免疫與後臺輸入：在指定
app後，座標點擊直接作用於目標窗口的 UIA 樹或 HWND，即使窗口被完全覆蓋也能操作。後臺輸入支持經過能力路由，緩存已知不支持的後臺路徑以減少重試。 - 狀態綁定：
get_window_state返回快照 ID，元素操作需綁定該快照，過期或錯誤的快照會被拒絕，確保操作在正確的上下文中執行。 - 瀏覽器會話複用：使用持久化的 CDP WebSocket 會話，支持批量觀察與導航，避免每次操作重新建立連接。
- 安全邊界：插件使用外部截止期限 watchdog，提供有界失敗語義，超時或連接錯誤不會導致重放自動觸發。
安裝與啓用¶
目前未提供官方的安裝命令。安裝方式爲從 GitHub 倉庫獲取源碼。
適用場景與注意¶
- 運行環境：插件以當前 dsh 進程權限運行，安裝前應檢查源碼與許可證。
- 會話限制：不支持虛擬機、第二桌面或隱藏的 Windows 會話。
- 後臺路徑評估：捕獲和後臺輸入支持是按應用分別評估的。如果應用真正需要前臺
SendInput，插件會報告後臺路徑不可用。 - 模型歸屬：應用特定的對象模型、自動化 API 和領域集成應放在單獨的插件中，而不是 PC-Pilot 核心中。
短結尾¶
dsh-pc-pilot 爲智能體提供了在本地 Windows 環境中安全操作的基礎設施。更多細節請查閱插件目錄或 GitHub 倉庫。
