前言¶
DeepSeek Harness(DSH)的智能體通常通過工具調用訪問文件、終端或瀏覽器。要在本機 Windows 應用裏查窗口、讀控件結構、點按或輸入,單靠通用 shell 往往不夠:要麼拿不到語義化的控件信息,要麼座標容易過期。社區插件 dsh-desktop-tools(GitHub:Kerberos255/dsh-desktop-tools)面向上述場景,在 DSH 內提供原生 Windows 桌面自動化能力,優先走 UI Automation(UIA),對無法暴露語義控件的界面則用帶作用域的截圖座標兜底。
這是什麼¶
dsh-desktop-tools 由維護者 Kerberos255 發佈,在 SkillHub 社區目錄中歸類爲「工作流」。插件簡介爲:Windows desktop automation for DeepSeek Harness: UI Automation, screenshots, scoped actions and native permissions。當前 package.json 中版本爲 0.1.11,許可證 MIT。
插件僅在 Windows 上運行,依賴 PowerShell 7、與 DSH 版本要求匹配的宿主(engines 要求 node >= 24、dsh >= 0.2.0-rc.2),以及 README 中指向的 package.json 依賴說明。需要 UIA 或鍵盤交互時,須在已解鎖的交互式桌面上操作。
核心功能¶
README 列出的能力可概括爲以下五點(對應五個工具方向):
- 窗口發現:定位當前可用的桌面窗口。
- 無障礙 / 控件快照:獲取控件引用,供後續點擊、輸入使用。
- 截圖:對自定義繪製、難以通過 UIA 語義化的界面,用截圖及其
screenshotRef表示區域;座標相對於該截圖,而非全屏全局座標。 - 點擊與輸入:在持有當前引用時調用
desktop_click、desktop_type;界面變化後需重新快照。 - 引用與權限:按會話 / 窗口的引用以及截圖引用,避免重複使用過期座標。
其他已文檔化的行爲包括:
- 遵循當前 DSH 會話權限預設、插件寫入開關、按進程策略及原生審批;只讀會話不能寫入。
- 可選可見操作指示;支持基於 PowerShell 的 helper,而不必長期跑常駐服務。
- 在配置的保留期過後自動清理符合條件的插件自有截圖(默認保留 七天),不刪除審計日誌或活躍會話產物。
- 可選向 dsh-plugin-diagnostics 上報受限的操作與失敗元數據(不含對話內容與憑據)。
同作者的 dsh-browser-tools 面向網頁;桌面與本機 GUI 場景可與此插件配合理解分工。
安裝與啓用¶
官方安裝命令如下(profile 名 desktop 需按你本地 DSH 配置替換):
dsh plugin --profile desktop add github:Kerberos255/dsh-desktop-tools
安裝或更新插件代碼後應重啓 DSH。若需可復現安裝,README 建議 pin 到具體 commit。
啓用前建議在 DSH 中打開 Settings → Plugins → Desktop Tools,查看允許的進程策略,並在確實需要寫入前保持寫入關閉。
典型用法¶
README Quick start 給出的順序可直接復現:
- 打開 Settings → Plugins → Desktop Tools,審閱 allowed-process policy,在需要之前保持 writing disabled。
- 調用
desktop_windows查找窗口,再調用desktop_snapshot獲取當前控件引用。 - 使用
desktop_click或desktop_type並傳入當前引用;界面變更後刷新 snapshot。 - 對自定義繪製應用,使用
desktop_screenshot及其screenshotRef;座標在該截圖內部,不是全局屏幕座標。
策略與字段示例見倉庫中的 policy.json、config.example.json;安全說明見 SECURITY.md。
權限、隱私與測試¶
只讀會話無法寫入。具備完整訪問權限的 DSH 會話可能對「已允許的普通交互」減少重複審批,但顯式禁止的進程、安全桌面、憑據窗口與敏感提交仍受保護;關閉審批提示的設置 不等於 授予權限。
支持的快照 / 截圖中會抑制憑據字段。審計文件與截圖僅存放在本地 runtime 目錄。倉庫提供 npm test 做可移植的安全 / 策略檢查;真實 UIA、DPI、焦點、鍵盤與屏幕標記測試需要在 已解鎖的 Windows 主機 上完成,不能僅憑 GitHub Actions 推斷。
適用場景與注意¶
適合:在 DSH 智能體工作流中,需要在本機 Windows 應用裏做只讀探查或經審批後的有限寫入(查窗口、讀結構、截圖定位、點按輸入)的開發者。
注意:
- 插件隨 當前 DSH 進程 的權限與策略運行;安裝前應自行審閱源碼與 MIT 許可證,並理解
policy.json、會話 preset 與原生審批的含義。 - 僅 Windows;Linux / macOS 宿主不適用。
- 社區目錄頁(SkillHub)與 GitHub 爲獨立信息源,與 DeepSeek / 幻方無官方從屬關係;星標與版本以你安裝時倉庫狀態爲準(資料抓取時 GitHub 星標爲 0)。
結尾¶
dsh-desktop-tools 把 Windows UIA、作用域截圖與 DSH 原生權限模型接到同一套工具裏,適合需要「能看結構再動手、座標不串會話」的桌面自動化步驟。進一步瞭解可訪問社區目錄頁與 GitHub 倉庫:
- 目錄頁:https://www.skillhub.cn/plugins/Kerberos255/dsh-desktop-tools
- GitHub:https://github.com/Kerberos255/dsh-desktop-tools