前言¶
DeepSeek Harness (DSH) 採用插件化架構，智能體需要直接操作桌面時，傳統的像素級控制風險較高且不夠語義化。computer-control 插件爲 DSH 提供了桌面控制能力，包括屏幕截圖、指針與鍵盤注入，以及基於無障礙樹語義的動作操作。它內置了安全防護機制，旨在讓智能體在受控環境下安全地接管桌面任務。
插件概覽¶
computer-control 是一個 DSH 插件，主要用於桌面自動化操作。
- 定位：桌面控制插件
- 維護者：JohnXu22786
- 許可證：MIT
- 核心價值：結合截圖觀察、語義化操作與安全防護，實現受控的桌面自動化。
核心功能¶
該插件提供以下能力：
- 截圖 (
screen.capture)：支持全屏或區域截圖，輸出格式爲 PNG/JPEG，支持縮放和灰度處理。 - 指針控制 (
pointer.*)：支持移動、點擊（左/中/右鍵，單/雙/三擊）、拖拽、以及橫向/縱向滾動。 - 鍵盤控制 (
keyboard.*)：支持單鍵輸入、組合鍵注入（與鍵盤佈局無關）以及任意 Unicode 文本輸入。 - 語義動作 (
a11y.*)：基於無障礙樹摘要（支持骨架/標準/完整模式）執行激活和輸入操作。優先使用 UIA（Windows UI Access）模式，失敗時回退到像素座標點擊。 - 批量執行 (
batch.execute)：允許在一個調用中執行多個動作，可整體確認，支持錯誤時繼續執行。 - 安全防護：內置緊急停止、允許/拒絕規則、確認流程、空閒待機和幹運行模式。
- 能力廣播：通過
tools.list和system.status向 DSH 暴露工具與系統狀態。
安裝與運行¶
在安裝前，請確保環境滿足以下要求：
- Python 3.9+
- Node.js >= 18（用於橋接）
- Windows 10/11（完整功能支持）
安裝插件：
dsh plugin --profile demo add github:JohnXu22786/computer-control
環境檢查：
python -m computer_control check
列出工具：
python -m computer_control list
啓動插件服務：
插件通過 stdio 接收 JSON-RPC 2.0 請求。啓動命令如下：
python -m computer_control serve
使用示例¶
插件內置了演示腳本，默認運行在幹運行模式，不會對真實桌面產生實際影響：
python examples/demo.py
安全與限制¶
- 傳輸協議：使用逐行 JSON-RPC 2.0 作爲傳輸協議。
- 座標映射：模型面對的是一個虛擬畫布（默認寬度 1920px），插件會將其映射回物理像素座標。
- 高風險操作：包含 Win 鍵或 Ctrl+Alt 組合鍵的操作屬於高風險，需要人工確認或觸發緊急停止。
- 平臺限制：目前主要支持 Windows 10/11 以獲得完整功能，其他平臺功能受限。
鏈接¶
- 插件目錄：computer-control
- 源碼倉庫：computer-control
