Vision Use：讓 DeepSeek Harness Agent 看見屏幕並操作 Windows 桌面

DeepSeek Harness (DSH) 採用插件化架構，Agent 的能力取決於已安裝的插件。在開發涉及桌面操作的任務時，Agent 往往只能“看”到文本，無法直接與 Windows 界面交互。Vision Use 插件通過接入視覺通道與系統級操作接口，解決了這一痛點。

是什麼¶

Vision Use 是一個 DeepSeek Harness 插件，由用戶 zzy6-a 維護，開源協議爲 MIT。它主要解決 Agent 無法直接感知桌面環境並進行鼠標、鍵盤操作的問題。

核心功能¶

插件提供以下工具接口：

• view_screen：截取 Windows 全屏，直接進入模型的視覺通道（非 OCR，真·看圖）。
• view_image：將任意圖片文件送入視覺通道（支持 Linux / Windows 路徑）。
• computer_move：將光標平滑移動到指定座標 (x, y)。
• computer_click：執行左/右/雙擊操作。
• computer_type：輸入文字。默認使用真實按鍵逐鍵注入（零剪貼板），中文輸入走輸入法流程。
• computer_key：發送組合鍵（如 ctrl+t、enter、alt+f4）。
• computer_overlay：啓動或停止操作覆蓋層，可設置空閒自動關閉。
• computer_status：查詢覆蓋層狀態、ESC 標誌、當前模式及光標位置。

安裝與啓用¶

使用官方安裝命令添加插件：

dsh plugin --profile web add https://github.com/zzy6-a/vision-use/releases/download/v0.2.0/dsh-vision-0.2.0.tgz

安裝完成後需重啓 DSH 客戶端，並在瀏覽器刷新後輸入框下方確認狀態膠囊出現。

典型用法¶

啓用插件後，Agent 可通過自然語言指令執行以下操作：

1. 看一下我的屏幕
2. 幫我在必應搜索 DeepSeek 官網並打開
3. 打開記事本打一段字

Agent 會自動啓動覆蓋層、執行 view_screen 視覺檢查、調用 computer_* 系列工具進行操作，並在必要時再次截圖驗證。

適用場景與注意事項¶

系統環境¶

• 支持環境：Windows 原生與 WSL2 + Windows。插件會自動檢測宿主環境並選擇對應路徑/子進程方案。
• 不支持環境：Linux / macOS 宿主當前只支持 Windows 原生與 WSL + Windows；其他系統下桌面控制工具會明確報錯，view_image 仍可用。

兼容性限制¶

• 輸入法：中文/非 ASCII 字符走輸入法流程，通過發送拼音字母和空格上屏。
• Chromium：Chromium 瀏覽器忽略 KEYEVENTF_UNICODE 注入，需使用真實按鍵注入。
• WinUI：記事本等 WinUI 應用不認注入的 Ctrl 組合鍵。
• 自繪 UI：自繪 UI 的軟件（如 Edge 標籤欄）座標不可信，建議先視覺定位。
• 光標覆蓋：帶自繪光標的軟件（如部分遊戲或 Electron 應用）無法被系統級光標替換。

隱私¶

截圖會作爲圖片附件進入當前會話上下文，最終隨會話請求發送給當前選中的模型。插件本身不產生網絡請求，不調用任何 API。

結語¶

Vision Use 將視覺感知與系統操作結合，填補了 DSH Agent 在桌面交互領域的空白。安裝並啓用後，Agent 可以通過視覺通道理解屏幕內容，並使用鼠標、鍵盤工具執行任務。項目詳情與源碼請查看 GitHub 倉庫。