wushi2333/dsh-computer-use_codex-style:DeepSeek Harness 的 Codex 風格桌面控制插件

DeepSeek Harness(DSH)的插件體系允許開發者擴展 Agent 的能力。桌面自動化是其中的關鍵場景之一。dsh-computer-use_codex-style 插件基於 Codex 的 window2 工具面,爲 DSH 提供了一套完整的桌面控制方案,無需依賴 Codex 本身。

核心功能

該插件提供了 13 種 Codex 官方 window2 方法,覆蓋桌面應用和 Chromium 瀏覽器的控制:

  • list_windows, get_window, list_apps, launch_app, get_window_state
  • click, press_key, type_text, scroll, set_value, drag, perform_secondary_action, activate_window

它使用 SendInput 進行真實輸入,利用 UI Automation 獲取無障礙樹,並使用 Windows.Graphics.Capture 進行截圖(即使窗口被遮擋也能工作)。截圖作爲視覺圖像部分返回,不會以 base64 編碼的形式包含在 JSON 中。

安裝與啓用

插件採用 Harness 原生 Bundle 方式分發,包含 package.json、cordis.patch.yml 和入口模塊。

1. 安裝插件

在終端執行以下命令安裝插件包:

dsh plugin --profile web add github:wushi2333/dsh-computer-use_codex-style

2. 配置工具行

桌面工具被設計在 Agent 預設(Preset)中,而不是宿主組合。在目標預設的 agent.cordis.yml 中添加以下配置:

- id: tool-computer-use
  name: dsh-computer-use/tool
  config:
    surfaces:
      - computer
    browserSkill: computer-use-browser

3. 同步技能包

插件內置了兩個技能,需要複製到 Harness 讀取的技能目錄中:

node node_modules/dsh-computer-use/scripts/sync-skills.mjs --write --defaults

4. 重啓並運行

重啓 Profile(插件層的變更在啓動時讀取),使用該預設啓動會話,並給出具體指令。

典型用法

以下是一個可復現的示例:

“Open Notepad and turn these bullets into a clean draft.”

首次調用工具時會啓動輔助進程,狀態膠囊(Status pill)會出現,模型開始觀察、行動、刷新的循環。按 Esc 鍵可隨時中斷當前回合。

運行環境與限制

  • 系統要求:Windows 10 1809+ 或 Windows 11,x64 架構。
  • 依賴工具:DeepSeek Harness、Node.js 20+。
  • 可選依賴:Python 3.10+(用於瀏覽器目錄)、Rust(用於重新編譯輔助程序,插件已提供預編譯二進制)。
  • 共存性:與官方 Harness 插件共存安全,但建議不要同時運行兩套驅動程序。

安全與體驗

  • 權限控制:launch_app 和音頻錄製會暫停等待 Harness 的批准 UI。批准是按應用進行的,且從不靜默。
  • 狀態刷新:基於身份的刷新機制,而非時間 TTL。一旦檢測到窗口身份發生變化或有人類輸入,下一次輸入會被拒絕。
  • 雙層架構:桌面指針、遮罩、截圖和批准邏輯運行在 HOST 層(進程級),工具定義在 PRESET 層(Agent 級),確保普通編碼會話不會獲得鼠標控制權。

總結

該插件通過驗證的 Codex 基線實現,爲 DeepSeek Harness 提供了穩定的桌面控制能力。它採用 MIT 許可證,適合需要在 DSH 環境中實現複雜桌面交互的開發者。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜