dsh-codex-style-computer-use:爲 DeepSeek Harness 提供桌面級操作能力

前言

DeepSeek Harness(DSH)的核心理念是插件化。當開發者需要構建能夠操作桌面應用程序的智能體時,現有的方案往往需要編寫額外的自動化腳本或進行復雜的構建配置。dsh-codex-style-computer-use 插件旨在解決這一痛點,爲 DeepSeek Harness 提供原生的 Windows 桌面控制能力。

插件簡介

該插件通過預構建的原生 C# Workers,讓智能體能夠像 Codex 一樣“看見”並“操作” Windows 桌面。插件由 ltmroberthk915 維護,採用 MIT 許可證。

核心功能

1. 觀察
插件提供窗口列表、屏幕截圖(支持指定區域、JPEG/PNG 格式、降採樣)、可點擊元素的 Set-of-Marks 映射,以及帶有精確 AutomationIds 的 UI Automation 樹。

2. 操作
支持點擊、移動、拖拽、滾動、選擇文本範圍、輸入文本、按鍵,並通過 UI Automation 驅動控件,而非依賴座標。

3. 批量執行
使用 computer_batch 調用可以串行執行一系列動作,並在首次失敗時停止。這使得已知序列只需一次模型往返,而非多次。

4. 交互提問
使用 computer_ask 會在同一張聊天卡片上提出問題,無需倒計時。

5. 人工剎車
當操作被手動中斷時,stop 信號會被推入會話,讓智能體意識到操作被暫停,而不是在下一輪才發現。

安裝與啓用

該插件通過 dsh-market 安裝,無需 PowerShell 7 或構建步驟。

dsh plugin --profile web add dsh-codex-style-computer-use

環境要求:
* 操作系統:Windows (os: win32)
* Node.js:≥ 22
* .NET Framework:4.x(Windows 自帶)

典型用法

  • 桌面應用協作:指示智能體查看屏幕、尋找控件並進行點擊和輸入。
  • 手動接管:當需要使用自己的鼠標或鍵盤時,智能體會等待,不會繼續執行。
  • 序列執行:使用 computer_batch 調用一次性運行一組已知的操作序列。
  • 卡片提問:使用 computer_ask 在當前的聊天卡片中直接向用戶提問。

注意事項

  • 系統限制:僅支持 Windows 平臺。
  • 隱私保護:插件不讀取用戶文件。它僅將 Worker 二進制文件寫入 %LOCALAPPDATA%\dsh-computer-use\worker\,並將審計日誌和截圖寫入 $DSH_HOME/data/computer-use/。
  • 默認行爲:批准提示默認保持啓用狀態。

結語

該插件通過提供觀察和操作能力,降低了 DeepSeek Harness 智能體與 Windows 桌面交互的門檻。更多細節可參考 GitHub 倉庫 或 社區目錄。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜