aibo204/dsh-plugin-computer-use：DeepSeek Harness 桌面交互插件

前言¶

DeepSeek Harness (DSH) 的核心理念之一是“一切皆插件”，這使得開發者可以通過擴展來豐富智能體的能力。當智能體需要與用戶本地桌面進行交互時，直接調用系統接口存在風險且難以審計。aibo204/dsh-plugin-computer-use 是一個針對 DSH 的插件，它通過集成 Open Computer Use 的原生 MCP 運行時，爲智能體提供了安全的、帶審批的桌面控制能力以及本地的審計歸檔。

插件簡介¶

該插件旨在解決智能體在本地環境中進行“Computer Use”時的權限管理和安全審計問題。它不是 DSH 的默認 Host 能力，而是一個掛載在 Agent Preset 上的插件。一個掛載實例對應一個原生 MCP 進程、一個無障礙元素快照命名空間以及一個基於動作的策略。插件維護者屬於社區，項目基於 MIT 許可證，與 DeepSeek 無官方關聯。

核心功能¶

插件提供了一套基於 MCP 協議的桌面操作工具，模型可以通過 mcp__computer_use__ 命名空間調用這些工具：

應用管理：list_apps 列出已安裝和正在運行的應用；get_app_state 捕獲應用窗口、無障礙樹和元素索引。
交互操作：click 點擊元素或座標；perform_secondary_action 觸發無障礙聲明的動作；scroll 滾動元素或應用；drag 在截圖座標間拖拽；type_text 輸入 literal 文本；press_key 發送按鍵或組合鍵；set_value 設置無障礙控件值。
安全與審計：支持按需審批，並生成本地審計歸檔。

安裝與啓用¶

安裝此插件需要先安裝 Profile Bundle，然後在編寫的 Agent Preset 中添加插件行。

安裝插件
執行以下命令將插件添加到指定的 Profile（例如 web）：

    dsh plugin --profile web add github:aibo204/dsh-plugin-computer-use#v0.2.1

處理 pnpm 依賴
DSH 使用 pnpm，每個 Profile 需要對依賴安裝腳本做出明確決定。首次安裝時，DSH 可能會在配置文件中添加一個 open-computer-use 佔位符。爲了防止安裝腳本中斷，建議在 $DSH_HOME/profiles/web/pnpm-workspace.yaml 中顯式禁用該腳本的構建：

    allowBuilds:
      open-computer-use: false

保存文件後，重複執行安裝命令。

配置 Agent Preset
在編寫的 Agent Preset YAML 中添加插件配置行。以下是典型配置示例：

    - id: computer-use
      name: '@aibo204/dsh-plugin-computer-use'
      config:
        accessPolicy: per-call
        automaticScreenshots: before-and-after

系統權限配置
插件依賴於原生運行時，不同操作系統有不同的權限要求：
- macOS 14+：首次使用前，需運行以下命令檢查並授予權限：

        npx open-computer-use@0.3.1 doctor

    系統會提示授予 Accessibility 和 Screen Recording 權限。
*   **Linux**：需要已登錄的桌面環境，並支持 AT-SPI2/D-Bus 無障礙服務。
*   **Windows**：需要已登錄的交互式桌面，並啓用 UI Automation 訪問。

安裝完成後，重啓 Profile 並使用該 Preset 啓動新的 Session。

典型用法¶

使用 dsh-mcp-client：在調用工具時，使用 dsh-mcp-client 可以保留服務器完整的 canonical JSON 結果，這對於調試和審計很重要。
審計保留：dsh-mcp-client 確保截圖成爲持久化模型圖片的條件是 ctx.attachments 已掛載且調用路由聲明瞭圖片輸入。否則，結果中會包含明確的圖像診斷信息。
元素索引更新：執行控制操作（如 click 或 type_text）後，應用緩存的元素映射會失效。後續動作必須基於最新的 get_app_state 結果，否則索引可能無效。

注意事項與限制¶

插件類型：這是一個 Agent Preset 插件，不是 Host 能力。將其掛載在 Host 根目錄是不支持的。
應用列表格式：allowedApps 和 deniedApps 配置使用精確字符串（例如 bundle ID com.apple.finder），配置項爲空、含空格、重複或重疊時會失敗。
審批策略：accessPolicy 控制審批流程。per-call 是默認值，每次調用前詢問；allow 則直接授權（部署時需謹慎）。
高風險確認：highRiskConfirmation 默認開啓，會對發送、刪除、購買、上傳等操作進行二次確認。
許可證：插件使用 MIT 許可證，不代表 DeepSeek 官方背書。

總結¶

aibo204/dsh-plugin-computer-use 爲 DeepSeek Harness 提供了一套標準化的桌面操作接口和安全審計機制。通過配置 accessPolicy 和 automaticScreenshots，開發者可以在保證智能體與桌面交互可控性的同時，記錄詳細的操作軌跡。

插件地址：GitHub
插件目錄：SkillHub