前言¶
DeepSeek Harness(DSH)的核心理念是插件化。當開發者需要構建能夠操作桌面應用程序的智能體時,現有的方案往往需要編寫額外的自動化腳本或進行復雜的構建配置。dsh-codex-style-computer-use 插件旨在解決這一痛點,爲 DeepSeek Harness 提供原生的 Windows 桌面控制能力。
插件簡介¶
該插件通過預構建的原生 C# Workers,讓智能體能夠像 Codex 一樣“看見”並“操作” Windows 桌面。插件由 ltmroberthk915 維護,採用 MIT 許可證。
核心功能¶
1. 觀察
插件提供窗口列表、屏幕截圖(支持指定區域、JPEG/PNG 格式、降採樣)、可點擊元素的 Set-of-Marks 映射,以及帶有精確 AutomationIds 的 UI Automation 樹。
2. 操作
支持點擊、移動、拖拽、滾動、選擇文本範圍、輸入文本、按鍵,並通過 UI Automation 驅動控件,而非依賴座標。
3. 批量執行
使用 computer_batch 調用可以串行執行一系列動作,並在首次失敗時停止。這使得已知序列只需一次模型往返,而非多次。
4. 交互提問
使用 computer_ask 會在同一張聊天卡片上提出問題,無需倒計時。
5. 人工剎車
當操作被手動中斷時,stop 信號會被推入會話,讓智能體意識到操作被暫停,而不是在下一輪才發現。
安裝與啓用¶
該插件通過 dsh-market 安裝,無需 PowerShell 7 或構建步驟。
dsh plugin --profile web add dsh-codex-style-computer-use
環境要求:
* 操作系統:Windows (os: win32)
* Node.js:≥ 22
* .NET Framework:4.x(Windows 自帶)
典型用法¶
- 桌面應用協作:指示智能體查看屏幕、尋找控件並進行點擊和輸入。
- 手動接管:當需要使用自己的鼠標或鍵盤時,智能體會等待,不會繼續執行。
- 序列執行:使用
computer_batch調用一次性運行一組已知的操作序列。 - 卡片提問:使用
computer_ask在當前的聊天卡片中直接向用戶提問。
注意事項¶
- 系統限制:僅支持 Windows 平臺。
- 隱私保護:插件不讀取用戶文件。它僅將 Worker 二進制文件寫入
%LOCALAPPDATA%\dsh-computer-use\worker\,並將審計日誌和截圖寫入$DSH_HOME/data/computer-use/。 - 默認行爲:批准提示默認保持啓用狀態。
結語¶
該插件通過提供觀察和操作能力,降低了 DeepSeek Harness 智能體與 Windows 桌面交互的門檻。更多細節可參考 GitHub 倉庫 或 社區目錄。