dsh-operator:給每個 DSH 會話一雙手的全局 Computer Use 插件

前言

在 DeepSeek Harness(DSH)裏做桌面任務時,常見做法是臨時開特殊會話、切模式,或依賴外部 Computer Use 服務。模型要看屏幕、點鼠標、敲鍵盤,截圖又大又費 token,動作做完也不知道有沒有生效,容易反覆重試。下面介紹 dsh-operator(維護者 yffo,分類:工作流):裝一次掛進 desktop profile 後,標準 / PTC / 極簡 / 創造等模式下的會話都會繼承同一套桌面 GUI 工具與後臺 code_agent,不依賴外部賬號或遠程運行時二進制。

這是什麼

dsh-operator 是 DSH 的全局 Computer Use 插件:核心爲 JavaScript + macOS 自帶命令 + 編譯好的小型 AX 助手。倉庫 yffo/dsh-operator 採用 MIT 許可證;當前 package 版本爲 0.121.6,要求 DSH 版本在 0.2.1–rc.2 以上且低於 0.3.0、Node 22.18 及以上。插件目錄頁:https://www.skillhub.cn/plugins/yffo/dsh-operator(社區目錄站點,與 DeepSeek / 幻方無官方從屬關係)。

接入 cua-driver 爲可選增強,用於「AI 在後臺操作、你同時用電腦」的人機並行;不裝時基礎工具仍可用。

核心功能

裝一次,全局可用

插件掛在 host 層工具棧,當前和將來的會話自動繼承,無需每個會話單獨配置。

觀察與省 token

  • Retina 截圖先按長邊 1280、JPEG q80 編碼再交給模型,量級約爲原圖 1/4。
  • 觀察只帶當前一張截圖,不爲每一步上傳歷史圖。
  • 原生 App 可附 AX 文本快照(通常約 1KB),便於按名字/角色定位;Web/Electron AX 樹很淺時會退回純視覺。
  • 工具策略提示詞做過瘦身(README 稱 8.4KB → 3.9KB)。

動作校驗

每次動作後自動重採並比較,返回 actionEffect(confirmed / unverifiable / suspected_noop);失敗附帶可讀提示,減少模型瞎猜。

工具能力(節選)

會話內工具按 README 分爲觀察、鼠標/鍵盤、AX 動作、窗口/應用、瀏覽器 DOM 與自動化、剪貼板、任務/技能、後臺 code_agent、診斷等。常用示例:

類別 代表工具
觀察 screenshot、cu_observe、list_windows、ocr
輸入 click、input_text、hotkey、cu_act(需 cua-driver)
AX ax_press、ax_set_value、ax_batch
應用 open_app、cua_launch(後臺啓動)
瀏覽器 browser_*(真實 profile,經 cua-driver)、browser_dom_*(Chrome/Safari)
後臺 code_agent(另起標準會話執行代碼/長任務)

舊版工具名默認保留,可用配置 legacyToolNames 關閉。只想看、不讓動:對話中說「只讀模式」,或將 profile 的 guiTools 設爲 false。

安全邊界

  • guard:危險快捷鍵及「刪除/移除/支付/發送」類靜默按壓默認攔截;確認時可傳 confirm: true。
  • 審計日誌寫入 ~/.dsh/dsh-operator/audit.jsonl,只記元數據,不存屏幕內容與輸入文本。
  • 剪貼板:長文本輸入採用快照 → 寫入 → 粘貼 → 還原,不把剪貼板內容發給模型。

平臺與限制

  • macOS 已驗證;Windows/Linux 代碼兼容但未驗證——Linux 桌面後端未實現會報 unsupported_platform;AX/瀏覽器/剪貼板等擴展工具僅在 macOS 註冊。
  • 插件以當前 DSH 進程權限運行,安裝前請閱讀源碼與 MIT 許可證,確認你願意授予屏幕錄製與輔助功能。

安裝與啓用

先做下面兩步,再完全退出 DSH(macOS 爲 ⌘Q)並重新打開:

# 裝進 desktop profile
dsh plugin --profile desktop add dsh-operator

首次使用 GUI 工具時,macOS 會請求「屏幕錄製 / 輔助功能」,允許 DeepSeek Harness(或你的 DSH 宿主 App)即可。在任意會話中要求「截一張圖看看我的屏幕」,能返回截圖即表示通路正常。

升級與卸載:

dsh plugin --profile desktop update dsh-operator
# 或
dsh plugin --profile desktop remove dsh-operator

改動前可備份 ~/.dsh/profiles/desktop/ 下的 package.json、pnpm-lock.yaml、cordis.patch.yml 以便回滾。

典型用法

裝好後用自然語言說明「目標 + 驗收標準」即可,不必背工具名:

說法 預期行爲
「打開系統設置,確認在「外觀」頁,截個圖給我」 先看再開、最後給截圖
「先看看現在前臺是什麼,別亂點」 只讀觀察
「這個流程存成技能,叫 archive-screenshots」 存成可回放技能
「寫個交接」/ 新窗口只說「接手」 交接與無縫續做

可選 cua-driver 人機並行時,先安裝並授權,再使用 cua_windows、cua_observe、cua_act、cua_launch 等;環境變量 DSH_OPERATOR_CUA=0 可關閉 cua 工具。瀏覽器自動化細節見倉庫 docs/BROWSER-AUTOMATION.md、docs/CUA-DRIVER.md。

適用場景與注意

適合需要在 DSH 多模式下統一做桌面自動化、希望截圖與 AX 觀察控 token、並需要結構化動作反饋的開發者。倉庫 README 標明 495 項測試通過 與 CI,可自行 npm run doctor 診斷。

務必明確:安裝即授權插件控制桌面與讀屏;截圖會隨會話請求發給模型服務商,屬 Computer Use 本身成本;插件本身不上傳數據到插件作者服務器。

結尾

dsh-operator 把 Computer Use 收到 DSH desktop profile 一層,用觀察壓縮、AX 快照和 actionEffect 校驗降低試錯成本,並用 guard 與審計劃清安全邊界。進一步瞭解請查看 SkillHub 目錄頁 與 GitHub 倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜