computer-user: DeepSeek Harness 電腦操作插件

前言¶

DeepSeek Harness (DSH) 生態強調插件化。在使用純文本模型進行桌面自動化時，往往面臨缺乏視覺能力或依賴外部 API 的困境。computer-user 解決了這個問題，它允許純文本模型通過本地圖像分析工具來“看”屏幕，並直接控制操作系統進行操作。

是什麼¶

computer-user 是一個 DSH 插件，支持 Codex 風格的電腦操作：讀取屏幕並通過 Win32 SendInput 驅動鼠標與鍵盤。它允許純文本模型配合本地圖像分析工具（如 picturereader）來“看”屏幕並執行操作，完全在本地運行，無外部 API 調用。

核心功能¶

• 截圖：截取整個虛擬屏幕 PNG，支持多顯示器和 DPI 感知。
• 鼠標與鍵盤控制：通過 Win32 SendInput 驅動鼠標移動、點擊、雙擊、拖放、滾動滾輪。
• 文本輸入：支持輸入任意 UTF-16 文本（含 CJK 字符）。
• 組合鍵支持：支持鍵盤組合（如 ["ctrl","c"]）。
• 純文本模型支持：配合 picturereader，任何純文本 LLM 都可以驅動桌面端。
• 本地化：截圖、分析、輸入均在本地完成，無外部 API 調用。

安裝與啓用¶

在 DSH profile 中執行以下命令安裝：

dsh plugin --profile web add computer-user

安裝後需重啓 DSH 或在 EAC 設置中管理屏幕插件，工具即可在任意會話中生效。

典型用法¶

1. 截圖與分析：調用 computer_screenshot 截取屏幕，將返回的路徑餵給 picturereader 的 image_scan 或 image_ocr。
2. 文本輸入：通過 computer_type 輸入任意 UTF-16 文本。
3. 點擊與交互：在特定座標調用 computer_click，或執行 computer_keypress 觸發快捷鍵。
4. 滾動與拖放：使用 computer_scroll 滾動頁面，或使用 computer_drag 執行拖拽操作。

適用場景與注意¶

• 適用場景：適合需要本地、隱私安全的桌面自動化工作流，特別是使用 DeepSeek V4 Flash 等純文本模型時。
• 座標系統：座標相對於虛擬屏幕原點（所有顯示器合併），而非單一顯示器。
• 目標窗口：操作前應先定位目標窗口，避免背景圖標干擾 OCR 和點擊。
• 輸出 Guard：默認開啓輸出 Guard，防止模型將工具調用寫爲普通對話文本。如需輸出代碼片段，需在高級設置中關閉。
• 兼容性：支持 Headless 模式，併兼容 DeepSeek Harness EAC。

短結尾¶

computer-user 完成了“看-做-驗”的本地閉環，填補了純文本模型在桌面操作上的空白。其開源地址如下：

https://github.com/jing-hy/computer-user