前言¶

DeepSeek Harness (DSH) 採用插件化架構，允許開發者擴展核心功能。dsh-computer-use 是一個獨立的 Cordis bundle，由 leolee9086 維護。它爲 DSH 提供了視覺、原生無障礙和 Windows 講述人操作路徑。0.5.0 版本註冊了 18 個 computer_* 工具。無障礙觀測、閱讀和語義動作可以獨立使用，文本模型也能操作原生應用。

核心功能¶

該插件主要覆蓋以下能力：
* 18 個 computer_* 工具：覆蓋視覺、指針、鍵盤、無障礙、窗口和講述人操作。
* 獨立無障礙循環：不依賴圖像能力，僅通過無障礙接口進行元素查找、讀取與控制。
* Windows 原生運行時驗證：作爲主要後端，支持 UIA 和 MSAA。
* 跨平臺契約測試：macOS AX 和 Linux AT-SPI 已實現並做契約測試。
* 後臺捕獲：支持 PrintWindow 捕獲目標窗口，無需激活窗口。
* 能力覆蓋：包括 Pointer、Keyboard、Accessibility、Window、Narrator。

安裝與啓用¶

在 Harness CLI 可用的環境中，將倉庫或打包產物添加爲 profile bundle。安裝命令如下：

pnpm dsh plugin --profile web add <path-to-dsh-computer-use>

bundle patch 會同時激活 host computer 服務、工具和工作流提示詞，無需編輯 agent 預設。安裝後需重啓 Harness 入口加載新 host 代碼。

典型用法¶

獨立無障礙循環¶

這條路徑不需要圖像能力。操作順序如下：

1. 調用 computer_windows，參數爲 operation:"list"，獲取短期 window_id；也可直接觀察當前焦點應用。
2. 調用 computer_accessibility。Windows 可以指定 window_id，backend:"native" 默認 UIA，backend:"msaa" 爲傳統實現。
3. 使用 computer_find 縮小元素範圍，或直接使用快照中的 element_id。
4. 使用 computer_read 讀取有界內容。
5. 使用 computer_element 使用控件暴露的 pattern 操作。
6. 每次控制嘗試後重新觀測，再進行下一次動作。

視覺與輸入¶

• 視覺：使用 computer_screenshot、computer_find_image、computer_click_image。Windows 支持多顯示器、區域/縮放、前臺窗口捕獲、顯式後臺 PrintWindow、模板匹配與唯一匹配點擊。圖像以 DSH 附件返回。
• 指針與鍵盤：使用 computer_move、computer_click、computer_drag、computer_scroll、computer_key、computer_type、computer_input。Windows 支持三擊、modifier、按住、帶路徑拖動，以及擴展鍵和輸入序列。

Windows 講述人¶

調用 computer_narrator(operation:"status") 只檢查當前會話中的 Narrator 進程，不啓動講述人。支持 item/view 移動、當前項/窗口/標題/文檔/選擇/行/詞閱讀、scan 切換等命令。響應明確標爲 unknown / Standard assumption。

平臺能力¶

依賴與注意事項¶

• 環境要求：Node >= 22.19，pnpm；Rust >= 1.88。
• 跨平臺快照：macOS/Linux 的快照目前從焦點應用獲取，不支持 Windows 形式的目標窗口語義根。
• 依賴項：Windows 無障礙/講述人依賴可選 edge-js，C# 在 Node 進程內編譯並調用；視覺/窗口輸入走倉庫自帶的 Rust exe。
• 審批模式：默認 observeApproval / controlApproval 爲 ask。權威 DSH 權限預設爲 Full access 時繼承免提示。
• 清理機制：強制結束進程無法保證析構清理執行。
• 不確定事實：目前沒有任務成功率基準，也沒有 SOTA 等效結論。

總結¶

dsh-computer-use 提供了一套完整的計算機操作工具集，重點驗證了 Windows 平臺的原生能力，並在 macOS 和 Linux 上完成了契約測試。它適合需要文本模型直接操作桌面應用、且對無障礙接口有強依賴的開發場景。

• 目錄頁
• GitHub 倉庫