aibo204/dsh-plugin-computer-use:DeepSeek Harness 桌面交互插件

前言

DeepSeek Harness (DSH) 的核心理念之一是“一切皆插件”,这使得开发者可以通过扩展来丰富智能体的能力。当智能体需要与用户本地桌面进行交互时,直接调用系统接口存在风险且难以审计。aibo204/dsh-plugin-computer-use 是一个针对 DSH 的插件,它通过集成 Open Computer Use 的原生 MCP 运行时,为智能体提供了安全的、带审批的桌面控制能力以及本地的审计归档。

插件简介

该插件旨在解决智能体在本地环境中进行“Computer Use”时的权限管理和安全审计问题。它不是 DSH 的默认 Host 能力,而是一个挂载在 Agent Preset 上的插件。一个挂载实例对应一个原生 MCP 进程、一个无障碍元素快照命名空间以及一个基于动作的策略。插件维护者属于社区,项目基于 MIT 许可证,与 DeepSeek 无官方关联。

核心功能

插件提供了一套基于 MCP 协议的桌面操作工具,模型可以通过 mcp__computer_use__ 命名空间调用这些工具:

  • 应用管理:list_apps 列出已安装和正在运行的应用;get_app_state 捕获应用窗口、无障碍树和元素索引。
  • 交互操作:click 点击元素或坐标;perform_secondary_action 触发无障碍声明的动作;scroll 滚动元素或应用;drag 在截图坐标间拖拽;type_text 输入 literal 文本;press_key 发送按键或组合键;set_value 设置无障碍控件值。
  • 安全与审计:支持按需审批,并生成本地审计归档。

安装与启用

安装此插件需要先安装 Profile Bundle,然后在编写的 Agent Preset 中添加插件行。

  1. 安装插件
    执行以下命令将插件添加到指定的 Profile(例如 web):
    dsh plugin --profile web add github:aibo204/dsh-plugin-computer-use#v0.2.1
  1. 处理 pnpm 依赖
    DSH 使用 pnpm,每个 Profile 需要对依赖安装脚本做出明确决定。首次安装时,DSH 可能会在配置文件中添加一个 open-computer-use 占位符。为了防止安装脚本中断,建议在 $DSH_HOME/profiles/web/pnpm-workspace.yaml 中显式禁用该脚本的构建:
    allowBuilds:
      open-computer-use: false
保存文件后,重复执行安装命令。
  1. 配置 Agent Preset
    在编写的 Agent Preset YAML 中添加插件配置行。以下是典型配置示例:
    - id: computer-use
      name: '@aibo204/dsh-plugin-computer-use'
      config:
        accessPolicy: per-call
        automaticScreenshots: before-and-after
  1. 系统权限配置
    插件依赖于原生运行时,不同操作系统有不同的权限要求:
    • macOS 14+:首次使用前,需运行以下命令检查并授予权限:
        npx open-computer-use@0.3.1 doctor
    系统会提示授予 Accessibility 和 Screen Recording 权限。
*   **Linux**:需要已登录的桌面环境,并支持 AT-SPI2/D-Bus 无障碍服务。
*   **Windows**:需要已登录的交互式桌面,并启用 UI Automation 访问。

安装完成后,重启 Profile 并使用该 Preset 启动新的 Session。

典型用法

  • 使用 dsh-mcp-client:在调用工具时,使用 dsh-mcp-client 可以保留服务器完整的 canonical JSON 结果,这对于调试和审计很重要。
  • 审计保留:dsh-mcp-client 确保截图成为持久化模型图片的条件是 ctx.attachments 已挂载且调用路由声明了图片输入。否则,结果中会包含明确的图像诊断信息。
  • 元素索引更新:执行控制操作(如 click 或 type_text)后,应用缓存的元素映射会失效。后续动作必须基于最新的 get_app_state 结果,否则索引可能无效。

注意事项与限制

  • 插件类型:这是一个 Agent Preset 插件,不是 Host 能力。将其挂载在 Host 根目录是不支持的。
  • 应用列表格式:allowedApps 和 deniedApps 配置使用精确字符串(例如 bundle ID com.apple.finder),配置项为空、含空格、重复或重叠时会失败。
  • 审批策略:accessPolicy 控制审批流程。per-call 是默认值,每次调用前询问;allow 则直接授权(部署时需谨慎)。
  • 高风险确认:highRiskConfirmation 默认开启,会对发送、删除、购买、上传等操作进行二次确认。
  • 许可证:插件使用 MIT 许可证,不代表 DeepSeek 官方背书。

总结

aibo204/dsh-plugin-computer-use 为 DeepSeek Harness 提供了一套标准化的桌面操作接口和安全审计机制。通过配置 accessPolicy 和 automaticScreenshots,开发者可以在保证智能体与桌面交互可控性的同时,记录详细的操作轨迹。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜