前言¶
DeepSeek Harness（DSH）的理念是「一切皆插件」，但底盤上的模型是純文本的：沒有視覺，也沒有鍵鼠。你讓模型「打開記事本寫一行字再保存」，它既看不見記事本開沒開，也點不了菜單。過去做這類桌面自動化，通常要自己搭一條管道：截屏、視覺識別、再驅動鼠標鍵盤寫膠水代碼。dsh-computer-use 把這條管道封裝成了 DSH 插件，模型調幾個工具就能跑通整個閉環。
這是什麼¶
dsh-computer-use 由 JasonWei04 維護，許可證爲 MIT。一句話定位：截屏/錄屏 → Xiaomi MIMO 視覺分析 → 真實鼠標/鍵盤/窗口/程序控制 → 自主循環直到任務完成。
它操作的是真實 Windows 桌面，不是模擬器：鼠標移動、點擊、拖拽、滾動、鍵盤輸入、啓動程序、激活窗口都落在真實系統上。視覺能力來自 Xiaomi MIMO 視覺模型（OpenAI 兼容端點），負責「看懂」屏幕內容和元素座標，純文本模型靠它補上了眼睛。
工作鏈路¶
鏈路是固定的三步：
- 觀察：
computer_screenshot截屏保存 PNG，或computer_record錄屏抽幀（JPEG）； - 分析：截圖或錄屏幀交給 MIMO，返回屏幕描述與座標；
- 執行：
computer_action執行一次真實操作；或者交給computer_use把「觀察 → 視覺決策 → 執行 → 再看」跑成自主循環，直到任務完成。
底層的 Win32 調用由一個 C# 助手完成：源碼內嵌在 index.js 中，首次使用自動寫入工作區，並用系統自帶的 csc.exe 編譯，無需安裝任何運行時。臨時截圖、錄屏幀、視覺請求文件會在分析完成或循環結束後自動清理，不殘留垃圾文件。
工具一覽¶
| 工具 | 作用 |
|---|---|
computer_screenshot |
截屏保存 PNG；analyze=true 時由 MIMO 分析屏幕內容與座標，適合靜態場景（看頁面佈局） |
computer_record |
錄屏抽幀（JPEG）一次性交給 MIMO，觀察滾動、滑動、動畫、加載等動態過程 |
computer_use |
自主循環執行任務直到完成；observe 參數支持 auto/screenshot/record |
computer_action |
單步真實桌面操作，支持 move/click/drag/scroll/type/keys/run/activate/windowrect/listwindows/sendchat |
computer_status |
查看助手與 MIMO 狀態、統計、最近錯誤 |
選擇上有個簡單原則：靜態場景（看佈局、確認界面）用 computer_screenshot；動態過程（比如在微信裏下滑找朋友圈）用 computer_record，一次錄屏抽多幀看清，避免反覆截屏。三個視覺工具都支持 model 參數按次指定模型（如 mimo-v2.5、mimo-v2.5-pro）。
安裝與啓用¶
前置條件¶
- DSH 需爲運行於 Windows 的 web 版本；系統需 Windows 10/11（C# 助手依賴系統 .NET Framework 的 csc.exe 與 Win32 API）；
- 必須先安裝 @linxin666/dsh-web-ui-all（dsh-web-ui 全家桶）：本插件基於其 defineTool、installSettingsSection、systemPrompt.section、mountOnce 單實例守衛等框架能力開發，缺少全家桶將無法加載；
- MIMO_API_KEY 可選，但強烈推薦（視覺分析用）。
安裝步驟¶
安裝爲手動方式，沒有市場一鍵命令，共三步。
1、將 dsh-computer-use/ 整個文件夾複製到 profile 的 plugins/ 目錄：
C:\Users\<你的用戶名>\.dsh\profiles\web\plugins\dsh-computer-use\
2、打開 profile 的補丁文件 C:\Users\<你的用戶名>\.dsh\profiles\web\cordis.patch.yml，在 plugins: 列表末尾追加：
- insert:
- id: computer-use
name: './plugins/dsh-computer-use/index.js'
3、重啓 DSH。靜態插件在啓動時加載，無需審批。
驗證：向模型發送「查看電腦操作插件狀態」，應得到助手就緒信息。
卸載同樣簡單：刪除 cordis.patch.yml 中 computer-use 的 insert 三行，刪除 plugins/dsh-computer-use/ 文件夾，重啓 DSH。
配置 MIMO 視覺¶
設置 Windows 環境變量（用戶級即可）：
MIMO_API_KEY = sk-你的密鑰
密鑰只從環境變量讀取，絕不寫入插件文件；插件每 30 秒自動重新探測。沒有密鑰時截圖、錄屏工具仍可用，但 analyze 與 computer_use 的視覺決策不可用。設置環境變量後等 30 秒自動重探，或重啓 DSH。
安裝後可在 DSH 設置界面的 dsh-computer-use 分區調整 baseURL、model、apiKeyEnv、maxOutputTokens、timeoutMs、helperExe、enabled、announceToAgent 等配置項。
典型用法¶
打開記事本輸入並保存¶
以「打開記事本，輸入 Hello, DSH! 並保存」爲例，四步調用：
computer_action(action="run", command="notepad")
computer_screenshot(analyze=true) # 截屏確認記事本已打開
computer_action(action="type", text="Hello, DSH!")
computer_action(action="keys", keys="^{s}") # Ctrl+S 保存
微信發消息¶
給當前聊天發消息可以一步完成：
computer_action(action="sendchat", text="今晚八點開會")
sendchat 僅針對微信（Weixin/WeChat 進程），按微信窗口寬度 62%、底邊上方 55px 估算輸入框位置。
交給 computer_use 自主完成¶
整段任務不必逐步編排，直接描述即可：
computer_use(task="打開 PyCharm，在打開的文件夾下創建 test.py，內容爲 print('hi')")
observe 參數控制觀察方式，支持 auto、screenshot、record，默認 auto——靜態界面用截屏，需要觀察動態過程時切換到錄屏：
computer_use(task="在微信裏下滑找到三天前的朋友圈並截圖", observe="auto")
動態過程用錄屏¶
滾動、滑動、動畫、加載這類過程，與其反覆截屏，不如錄一段：
computer_record(seconds=4, fps=2)
錄 4 秒、抽 8 幀，一次交給 MIMO 看清整個過程。
按次指定視覺模型¶
computer_screenshot(analyze=true, model="mimo-v2.5-pro")
computer_use(task="...", model="mimo-v2.5")
computer_screenshot、computer_record、computer_use 三個工具都接受 model 參數，同一次會話裏可以按任務難度逐次換模型。
適用場景與注意事項¶
適合誰：在 Windows 上使用 DSH web 版，希望模型直接完成 GUI 任務——啓動程序、界面點擊輸入、滾動查找、微信發消息，或者把整段流程交給 computer_use 自主跑完。
幾條注意：
- 平臺與依賴：DSH 需爲運行於 Windows 的 web 版本，系統需 Windows 10/11；@linxin666/dsh-web-ui-all 全家桶必須先裝，否則插件無法加載。
- 座標是估算值：視覺模型給出的座標不一定準，複雜界面建議小步操作、逐步逼近；刪除、提交、支付等高風險操作請人工確認。
- 真實桌面：插件操作的是真實桌面、消耗真實資源，請確認意圖後再讓模型執行。
sendchat的範圍：僅支持微信進程，輸入框位置按固定比例估算。- 權限與審查：插件以當前 DSH 進程的權限運行，具備對桌面的真實控制能力；安裝前請閱讀插件源碼，確認許可證（MIT）與自身環境相符後再啓用。
結束語¶
dsh-computer-use 把「截屏/錄屏 → MIMO 視覺分析 → 真實鍵鼠操作 → 自主循環」整條鏈路塞進了一組 DSH 工具，讓純文本模型真正看得見、動得了 Windows 桌面。如果它的邊界條件（Windows 10/11、手動安裝、座標估算）你能接受，值得一試。
- GitHub：https://github.com/JasonWei04/dsh-computer-use
- 社區插件目錄：https://www.skillhub.cn/plugins/JasonWei04/dsh-computer-use （社區獨立站點，與 DeepSeek、幻方無官方從屬關係）
