DSH 的核心理念是“一切皆插件”。在开发智能体应用时,让助手直接与浏览器或桌面应用交互是常见需求。现有的做法往往需要引入额外的 Electron 运行时或浏览器环境,增加了复杂度。dsh-unified-computer-use 插件提供了一个轻量级的解决方案,它利用本地已安装的 Chrome 浏览器,并支持对原生应用的操作。
这是一个由 xiaoiver 维护的客户端插件,核心价值在于让 DSH 助手能够打开、阅读和操作网页,也能查看和操作本机应用。浏览器使用本机已安装的 Google Chrome,在独立窗口中运行。
核心功能¶
- 操作网页内容
- 操作本机应用
- 使用已安装的 Google Chrome
- 原生应用画中画
- 检测系统权限
安装与启用¶
- 在 DSH Desktop 的「插件」菜单中点击「添加插件」。
- 输入以下安装命令:
github:xiaoiver/dsh-unified-computer-use#v0.2.0-alpha.7
- 安装并启用后,完全退出并重新打开 DSH Desktop。
典型用法¶
- 网页操作:直接对话,打开 example.com,告诉助手网页标题。
- 文本处理:告诉助手总结刚才打开的网页。
- 计算:操作本机计算器完成 123 + 456 = 579。
- 权限管理:在插件设置中点击「授权所需权限」。
设置¶
在插件详情页中,可以进行以下配置:
* 原生应用操作:关闭此选项后,仅保留 Chrome 网页操作。
* macOS 系统权限:检测辅助功能、屏幕录制状态,点击按钮申请权限或打开系统隐私设置。
* 高级设置:调整调用超时、空闲释放时间、原生目标数量上限。
注意事项¶
- 浏览器使用独立窗口,不复用日常 Chrome 的登录状态或标签。
- 暂不接管已有浏览器窗口。
- 暂不提供文件上传、下载功能。
- 实时画中画目前仅支持 macOS 原生应用。
- 首次使用原生辅助程序需从 GitHub 下载约 47MB。
- 需要屏幕录制和辅助功能权限。
经过上面的步骤,DSH 助手即可具备操作网页与本机应用的能力。该插件目录与 GitHub 仓库见下方链接。