前言¶

DeepSeek Harness (DSH) 的核心理念是「一切皆插件」。在構建能夠自主工作的 Agent 時，讓模型直接操作本地桌面是常見需求。現有的解決方案往往依賴複雜的原生模塊，或者難以集成到 DSH 的工作流中。copylee711/dsh-computer-use 旨在解決這一問題，它通過注入工具，將 Windows 的截圖、鼠標點擊、鍵盤輸入與模型的能力直接打通。

這是什麼¶

copylee711/dsh-computer-use 是 DeepSeek Harness 的 Windows 電腦控制插件。由用戶 copylee711 維護，開源協議爲 MIT。它解決的核心問題是：讓模型在不依賴原生代碼編譯、不破壞剪貼板歷史的前提下，通過截圖和 UI Automation 機制，實現對 Windows 應用的操作。

核心功能¶

該插件通過一組工具和機制，將視覺信息轉化爲操作指令，並確保交互的穩定性和安全性。

1. 截圖即座標系：模型只需看圖，插件自動處理 DPI 縮放、多顯示器偏移，確保模型點擊的座標在屏幕上準確落點。
2. 動作後自動回傳截圖：執行點擊、輸入等動作後，插件會等待畫面靜止（最長約 2.5 秒）再截圖。如果畫面與上一張完全相同，則不再發送圖片，僅告知模型“無可見變化”，從而節省 Token。
3. 按名稱點控件：使用 target 參數指定控件的可見名稱（如 "保存"、"按鈕:確定"），代替座標。即使控件在上一張截圖中未出現，插件也會等待 3 秒直到它出現。
4. 等條件而不是等時間：wait 工具支持 until 參數，例如 wait until "window:另存爲"，窗口或控件出現即繼續，超時才報錯。
5. 把窗口讀成文本：ui_elements 配合 text: true 參數，可以直接讀取窗口內的文字內容（默認取末尾 4000 字），比滾動截圖更快。
6. 按應用授權：通過 request_access 列出需要操控的應用，由用戶在 DSH 界面審批。也可設置爲“全部允許”，但插件自身窗口和禁用列表中的應用仍不可操作。
7. 不會操作自己與保護剪貼板：插件會拒絕向 DeepSeek Harness 自身窗口輸入；讀寫剪貼板後，會自動恢復用戶原有的剪貼板內容，不會進入 Windows 剪貼板歷史。
8. 零原生依賴：利用 DSH 自帶的 koffi 庫進行截圖和輸入，輔助程序使用系統自帶的 .NET 編譯，無需安裝 node-gyp，不受 Electron ABI 影響。

安裝與啓用¶

安裝此插件需要滿足環境要求，並通過命令行或界面進行添加。

環境要求：
* 操作系統：Windows 10 2004+ / Windows 11。
* 依賴：DSH 0.2.0-rc.2 或更高版本。
* 模型：需要支持圖片輸入的模型（如 DeepSeek V4.1 Flash），純文本模型會自動改用 ui_elements。

安裝命令：

dsh plugin --profile web add @copylee/dsh-computer-use@latest

安裝後，在 DSH 設置的「電腦控制」選項卡中啓用該插件即可。

典型用法¶

啓用插件後，模型會獲得一系列新工具。以下是一些典型的使用場景和對應的工具調用：

• 打開應用：使用 open_application 打開 Chrome、記事本或微信。
  • 示例：open_application("記事本")。
• 批量操作：使用 computer_batch 串聯多個動作，最後只截一張圖。
  • 示例：輸入文本、按回車、等待窗口出現、點擊保存。
• 讀取內容：使用 ui_elements 讀取網頁或文檔的文字。
  • 示例：ui_elements(text: true)。
• 剪貼板操作：使用 clipboard 工具讀寫剪貼板文本。

適用場景與注意¶

該插件主要適用於 Windows 平臺上的桌面自動化任務，但在使用時需注意以下限制和機制：

• 系統限制：僅支持 Windows。以管理員身份運行的窗口、UAC 彈窗、鎖屏無法被控制（受 Windows UIPI 限制）。
• 文件存儲：插件生成的截圖附件默認存放在 ~/.dsh/attachments，隨會話歷史保留。
• 安全提示：插件注入的系統提示要求模型不代填密碼、支付信息、不處理驗證碼，遇到此類情況應交還用戶處理。
• 技能管理：插件內置了 Word、Excel、Chrome 等常見應用的操作技能，AI 可以在操作過程中使用 app_skill 記錄新的操作規律。

結語¶

copylee711/dsh-computer-use 通過提供一套完整的工具鏈和友好的交互反饋（如橙色光暈、迷你進度卡片），降低了 Agent 操控 Windows 桌面的門檻。對於需要在本地執行復雜任務的開發者和用戶來說，這是一個可以直接落地的解決方案。更多細節可查閱其 GitHub 倉庫。