DSH Unified Computer Use:让 DSH 助手操作网页与本机应用

DSH 的核心理念是“一切皆插件”。在开发智能体应用时,让助手直接与浏览器或桌面应用交互是常见需求。现有的做法往往需要引入额外的 Electron 运行时或浏览器环境,增加了复杂度。dsh-unified-computer-use 插件提供了一个轻量级的解决方案,它利用本地已安装的 Chrome 浏览器,并支持对原生应用的操作。

这是一个由 xiaoiver 维护的客户端插件,核心价值在于让 DSH 助手能够打开、阅读和操作网页,也能查看和操作本机应用。浏览器使用本机已安装的 Google Chrome,在独立窗口中运行。

核心功能

  • 操作网页内容
  • 操作本机应用
  • 使用已安装的 Google Chrome
  • 原生应用画中画
  • 检测系统权限

安装与启用

  1. 在 DSH Desktop 的「插件」菜单中点击「添加插件」。
  2. 输入以下安装命令:
    github:xiaoiver/dsh-unified-computer-use#v0.2.0-alpha.7
  1. 安装并启用后,完全退出并重新打开 DSH Desktop。

典型用法

  • 网页操作:直接对话,打开 example.com,告诉助手网页标题。
  • 文本处理:告诉助手总结刚才打开的网页。
  • 计算:操作本机计算器完成 123 + 456 = 579。
  • 权限管理:在插件设置中点击「授权所需权限」。

设置

在插件详情页中,可以进行以下配置:
* 原生应用操作:关闭此选项后,仅保留 Chrome 网页操作。
* macOS 系统权限:检测辅助功能、屏幕录制状态,点击按钮申请权限或打开系统隐私设置。
* 高级设置:调整调用超时、空闲释放时间、原生目标数量上限。

注意事项

  • 浏览器使用独立窗口,不复用日常 Chrome 的登录状态或标签。
  • 暂不接管已有浏览器窗口。
  • 暂不提供文件上传、下载功能。
  • 实时画中画目前仅支持 macOS 原生应用。
  • 首次使用原生辅助程序需从 GitHub 下载约 47MB。
  • 需要屏幕录制和辅助功能权限。

经过上面的步骤,DSH 助手即可具备操作网页与本机应用的能力。该插件目录与 GitHub 仓库见下方链接。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜