前言¶
在 DeepSeek Harness（DSH）裏做「電腦使用」類能力時，常見做法是接瀏覽器自動化或外部 RPA 運行時：模型要麼只能看網頁，要麼還要再裝一層中間件。若目標是讓智能體直接面對用戶正在用的 Windows 桌面——截屏、點按、敲鍵、切窗口、讀寫剪貼板——就需要在 Harness 裏以插件形式接入原生輸入輸出，並處理好「真人是否同意、真人是否還能搶回控制權」這類問題。
下面介紹社區插件 @restregular/dsh-computer-use（GitHub：RestRegular/dsh-computer-use）。它在 Windows 上通過內置的 Rust 原生 helper 完成截屏與輸入注入，不依賴瀏覽器或額外自動化運行時；操作前有人工審批（全權限模式下可豁免），接管期間用半透明遮罩與小型聊天面板讓人類仍可發消息或取消接管。
這是什麼¶
- 定位：Windows 下的 DSH 客戶端插件，爲智能體提供桌面截屏、鼠標鍵盤、窗口管理與剪貼板工具。
- 維護者：RestRegular；包名
@restregular/dsh-computer-use，當前資料中版本爲 0.3.3，許可證 MIT。 - 分類：客戶端（僅 Windows 10/11 x64；
package.json中os爲win32，cpu爲x64）。 - 引擎要求：DSH 0.2.1 或更新（README 表述）；
package.json的engines.dsh爲>=0.2.1-rc.3 <0.3.0，安裝前請以你本機 DSH 版本與插件聲明爲準。
插件首次使用會把原生 helper 複製到 %LOCALAPPDATA%\dsh-computer-use\ 並從該路徑運行，因此即使插件裝在低完整性工作區，仍可能具備向桌面注入輸入的能力——使用前請閱讀源碼與許可證，並理解其以當前 DSH 進程權限運行。
核心功能¶
插件向會話暴露三類工具（名稱以 README 爲準）：
| 工具 | 作用 |
|---|---|
computer_screenshot |
截取整個虛擬桌面、單顯示器、指定窗口或區域；返回圖像與座標元數據 |
computer_action |
鼠標移動/單擊/雙擊/右鍵/拖拽/滾輪，鍵盤按鍵/組合鍵/文本，等待，剪貼板讀寫，release 釋放控制等 |
computer_windows |
列出頂層窗口（id、標題、進程、邊界、狀態、是否前臺），聚焦窗口，或最小化/最大化/還原 |
座標：截圖可能被縮小；computer_action 默認座標在該截圖圖像的像素空間。結果中會給出桌面捕獲矩形（capture）與模型可見圖像尺寸（image），插件會把圖像座標映射回桌面。若未先截屏卻在圖像空間發座標，會失敗並返回 SCREENSHOT_REQUIRED；需要絕對桌面像素時可傳 coordinate_space: "screen"。所有會話共享同一桌面，同一時刻只有一個智能體能持有接管。
同意與接管（摘要）：在審批策略爲 ask 時，每輪第一次鼠標/鍵盤操作會走 Harness 審批；full access（danger-full-access 預設、審批策略 never）下不再彈窗，插件將用戶的全權限選擇視爲同意並直接執行。批准後 helper 在首次注入輸入前接管：半透明遮罩覆蓋虛擬桌面，低級鍵盤/鼠標鉤子攔截物理輸入，遮罩上繪製模擬指針並提供聊天面板（可向請求接管的會話發消息或 Cancel takeover）。智能體用 SendInput 注入的輸入帶 injected 標誌可穿透遮罩。緊急熱鍵默認 Ctrl+Alt+Shift+F12 可立即結束接管；僅一個智能體可同時接管，其他會話會收到 TAKEOVER_BUSY。配置項如 consent.scope、consent.requireApproval、takeover.idleEndMs 等詳見倉庫 README。
安全：輸入是真實桌面操作且不可撤銷；README 強調應在受控環境使用並理解風險（正文截斷處亦指向安全說明，完整內容以 GitHub 爲準）。
安裝與啓用¶
命令行安裝（資料原文）：
dsh plugin --profile web add @restregular/dsh-computer-use
在 DSH Desktop 中也可打開 Plugins → Plugin Manager，安裝 @restregular/dsh-computer-use 並啓用。
要求：Windows 10/11 x64，DSH 0.2.1 或更新（見上文與 package.json 的差異說明）。
典型用法¶
README 推薦的循環如下，適合「找窗口 → 看屏幕 → 動一次 → 再驗證」：
- 用
computer_windows找到目標窗口； - 用
computer_screenshot觀察（可選window_id只截該窗口）； - 執行一次或一組
computer_action（例如聚焦窗口、點擊輸入框再type）； - 再截一張圖覈對結果——已發出的點擊並不能證明 UI 已按預期變化。
座標與 SCREENSHOT_REQUIRED、coordinate_space: "screen" 的說明見上一節。
結束接管的方式包括：智能體回合結束、computer_action 的 action: "release"、智能體銷燬、遮罩上取消接管、緊急熱鍵、helper 退出，以及可選的 takeover.idleEndMs 空閒釋放。
適用場景與注意¶
適合：在 Windows 上爲 DSH 智能體做桌面自動化演示、輔助操作重複 GUI 流程、在明確審批與接管機制下做 computer-use 實驗。
注意：
- 僅 Windows x64；Linux/macOS 不適用。
- 插件能力等同於高權限本地自動化，安裝前請審查 GitHub 倉庫 源碼與 MIT 許可證。
- DSH 生態是「一切皆插件」；SkillHub 目錄頁 爲社區站點，與 DeepSeek / 幻方無官方從屬關係，不要當作官方應用商店。
- 星標等統計以倉庫頁面爲準（線索中爲 1 star，會隨時間變化）。
結尾¶
@restregular/dsh-computer-use 把 Windows 桌面的看與控收進 DSH 插件：原生 helper、三類 computer 工具，以及帶遮罩與面板的人工同意與接管流程。需要安裝命令、工具參數與安全細節時，以 README 爲準。
- 目錄頁：https://www.skillhub.cn/plugins/RestRegular/dsh-computer-use
- GitHub：https://github.com/RestRegular/dsh-computer-use
