DSH 的核心理念是“一切皆插件”。在開發智能體應用時，讓助手直接與瀏覽器或桌面應用交互是常見需求。現有的做法往往需要引入額外的 Electron 運行時或瀏覽器環境，增加了複雜度。dsh-unified-computer-use 插件提供了一個輕量級的解決方案，它利用本地已安裝的 Chrome 瀏覽器，並支持對原生應用的操作。
這是一個由 xiaoiver 維護的客戶端插件，核心價值在於讓 DSH 助手能夠打開、閱讀和操作網頁，也能查看和操作本機應用。瀏覽器使用本機已安裝的 Google Chrome，在獨立窗口中運行。
核心功能¶
- 操作網頁內容
- 操作本機應用
- 使用已安裝的 Google Chrome
- 原生應用畫中畫
- 檢測系統權限
安裝與啓用¶
- 在 DSH Desktop 的「插件」菜單中點擊「添加插件」。
- 輸入以下安裝命令：
github:xiaoiver/dsh-unified-computer-use#v0.2.0-alpha.7
- 安裝並啓用後，完全退出並重新打開 DSH Desktop。
典型用法¶
- 網頁操作：直接對話，打開 example.com，告訴助手網頁標題。
- 文本處理：告訴助手總結剛纔打開的網頁。
- 計算：操作本機計算器完成 123 + 456 = 579。
- 權限管理：在插件設置中點擊「授權所需權限」。
設置¶
在插件詳情頁中，可以進行以下配置：
* 原生應用操作：關閉此選項後，僅保留 Chrome 網頁操作。
* macOS 系統權限：檢測輔助功能、屏幕錄製狀態，點擊按鈕申請權限或打開系統隱私設置。
* 高級設置：調整調用超時、空閒釋放時間、原生目標數量上限。
注意事項¶
- 瀏覽器使用獨立窗口，不復用日常 Chrome 的登錄狀態或標籤。
- 暫不接管已有瀏覽器窗口。
- 暫不提供文件上傳、下載功能。
- 實時畫中畫目前僅支持 macOS 原生應用。
- 首次使用原生輔助程序需從 GitHub 下載約 47MB。
- 需要屏幕錄製和輔助功能權限。
經過上面的步驟，DSH 助手即可具備操作網頁與本機應用的能力。該插件目錄與 GitHub 倉庫見下方鏈接。
