前言¶
在 DeepSeek Harness（DSH）插件生態中，桌面操作類智能體的常見路徑是讀取 UI 樹或調用 Accessibility API。這種方式依賴控件結構，跨 Windows、macOS、Linux 時差異會放大。
beijingwahw/dsh-computer-use-plugin 提供另一種實現：基於 DSH 的純視覺 Computer Use 插件，通過屏幕截圖理解界面，並完成點擊、輸入、滾動、拖拽等操作。下面介紹它的定位、能力、安裝方式和注意事項。
這是什麼¶
該插件由 beijingwahw 維護，定位爲“基於 DeepSeek Harness (DSH) 構建的純視覺 Computer Use 插件”。
它不依賴 UI 樹或 Accessibility API，適用於 Win/Mac/Linux 跨平臺桌面場景。插件在 DSH 中註冊工具，讓模型能夠截圖、操作桌面、處理彈窗，並對動作結果進行驗證、記憶和技能沉澱。
核心能力¶
純視覺 Grounding 與 Set-of-Mark 輔助¶
插件採用純視覺 Grounding，不依賴 UI 樹或 Accessibility API。
它會在截圖上疊加 Set-of-Mark（SoM）視覺輔助，包括網格、綠色鼠標準星與元素編號框，幫助模型做更穩定的座標判斷。
上下文管理與狀態錨點¶
插件使用滑動窗口、歷史圖像降級爲文字摘要、llm/pre-request 注入等上下文管理方式，控制上下文規模。
工具返回遵循 {status, state_anchor, next_step} 三段式狀態錨點協議，便於模型根據當前狀態決定下一步。
桌面操作與任務編排¶
插件支持截圖、點擊、輸入、滾動、快捷鍵、拖拽、標籤頁/窗口切換、彈窗處理等桌面操作。
長程任務可使用 start_complex_task 的 Planner-Actor 雙層架構：先拆解任務，再逐步執行；子任務失敗時 fail-fast。
驗證、恢復與預算控制¶
插件圍繞視覺操作提供多組機制：
- 行爲效果驗證：判斷動作是否產生預期變化。
- 二階段定位：對目標區域做更精細的定位。
- 變化門控截圖：減少屏幕未變化時的重複截圖。
- 自適應穩定等待：在界面穩定後執行驗證。
- 防死循環守衛：攔截同簽名動作的盲目重試。
- 場景指紋加成：提升同場景下記憶召回的可信度。
- 雙尺度驗證：區分頁面級變化和元素級變化。
- 焦點追蹤：圍繞最近點擊或拖拽終點做輸入和驗證。
- 預期錨定：操作前聲明預期變化，操作後覈對。
- 預算感知編排：長任務超時時中止，避免無限執行。
語義覈對與文字感知¶
插件提供 find_text、read_text、diff_view 與 OCR 語義覈對能力，並支持 expected_text 雙重確認。
OCR 按需啓用；語言包首次使用時聯網下載，默認 eng，中文場景可用 chi_sim+eng。OCR 不可用時，語義相關能力會降級。
記憶、日誌與技能庫¶
插件提供場景式 UI 記憶，將驗證生效的交互沉澱下來，便於後續召回。
它還提供行動日誌與重放，把成功操作序列保存爲可重放的動作。
自進化技能庫通過 save_skill、match_skill、run_skill 使用：技能可按成功/失敗回寫可靠度，並用於後續匹配。
安全守衛與風險閘門¶
插件內置安全四守衛：座標邊界校驗、連續失敗熔斷、敏感操作審計、彈窗聯動攔截。
憑據輸入有專門閘門：type_text 到敏感焦點時會返回 ACTION_REQUIRED，要求暫停並請用戶親自輸入；待輸內容不回顯，顯示爲 [REDACTED]。
可插拔混合模式¶
插件默認走純視覺路徑，也支持可選接入本地視覺模型與無障礙 Provider，以獲得更精確座標。
安裝與啓用¶
環境準備¶
需要 Node.js >= 18（推薦 22）與 pnpm。
原生依賴 sharp、@nut-tree/nut-js、screenshot-desktop、tesseract.js 會隨插件自動安裝。
框架依賴按 peer 聲明：@deepseek-ai/cordis、@deepseek-ai/dsh-tools、@deepseek-ai/schemastery，由 DSH 宿主提供。
安裝插件¶
推薦安裝命令：
dsh plugin add beijingwahw/dsh-computer-use-plugin --profile web
如果使用 pnpm 安裝：
pnpm add dsh-computer-use-plugin@github:beijingwahw/dsh-computer-use-plugin
構建產物已入庫，dist/ 隨倉庫分發；安裝時不執行構建腳本，main 指向 dist/index.js。dsh.bundle 指向 cordis.patch.yml，插件隨安裝自動註冊激活。
啓動 DSH¶
pnpm dsh web
覆蓋默認配置¶
需要覆蓋默認配置時，把包內 cordis.patch.yml 的 insert 條目併入自己的 patch。
本地開發¶
git clone https://github.com/beijingwahw/dsh-computer-use-plugin
cd dsh-computer-use-plugin
pnpm install
npm run build
npm test
本地修改源碼後，需要重新生成 dist/ 再驗證。
典型用法¶
桌面操作¶
安裝並啓動 DSH 後，可在任務中使用截圖、點擊、輸入、滾動、快捷鍵、拖拽、標籤頁/窗口切換、彈窗處理等能力。工具返回 {status, state_anchor, next_step}，模型可據此繼續執行或修正。
OCR 與語義覈對¶
啓用 OCR 後，可結合 find_text、read_text、diff_view 與 expected_text 做語義覈對與視覺差分。
開啓示例：
enableOcr: true
如果 OCR 不可用，語義相關能力會降級。
長任務¶
使用 start_complex_task 提交長程任務。插件會拆解步驟並逐步執行，子任務失敗時 fail-fast，並結合預算感知編排控制執行範圍。
技能沉澱¶
可用 save_skill 沉澱技能，使用 match_skill 匹配相似技能，再用 run_skill 執行。每次執行結果會回寫可靠度，用於後續匹配。
敏感輸入¶
當輸入目標被標記爲敏感焦點時，type_text 會返回 ACTION_REQUIRED。此時應暫停自動輸入，請用戶親自輸入；待輸內容顯示爲 [REDACTED]，不回顯明文。
適用場景與注意¶
適合：
- Windows、macOS、Linux 上的跨平臺桌面操作。
- 不依賴 UI 樹或 Accessibility API 的視覺自動化場景。
- 需要動作驗證、失敗恢復、日誌重放和技能沉澱的流程。
- 在 DSH 中做插件開發與本地調試。
注意：
- 插件按當前
dsh進程所具備的權限執行桌面操作。安裝前建議檢查源碼、依賴與許可證。 - 資料未明確給出許可證名稱；
package.json的files聲明包含LICENSE，使用前應自行確認授權範圍。 - OCR 語言包首次使用需要聯網下載；離線環境需接受語義能力降級。
- DSH 插件生態強調“一切皆插件”。社區目錄是獨立站點，不代表 DeepSeek 或幻方的官方應用商店。
鏈接¶
GitHub：
https://github.com/beijingwahw/dsh-computer-use-plugin
目錄頁（資料線索）：
https://www.skillhub.cn/plugins/beijingwahw/dsh-computer-use-plugin
