DeepSeek Harness 插件：computer-user-vision

前言¶

DeepSeek Harness (DSH) 的插件生態強調模塊化與擴展性。在嘗試使用基於 computer-user 的自動化插件時，開發者常遇到一個靜默的加載失敗問題：當 DSH 版本高於 0.1.2 時，插件無法正常加載，導致所有 computer_* 工具失效。此外，原版插件返回截圖路徑而非圖片本身，限制了視覺模型直接讀取屏幕的能力。computer-user-vision 是其非官方分叉版，旨在修復上述問題，併爲 Windows 平臺上的 DSH 提供更精確的屏幕控制與圖像交互能力。

是什麼¶

該插件是對 computer-user 的非官方分叉，專爲在 Windows 上運行的 DeepSeek Harness (DSH) 設計。它修復了 DSH 0.1.2 及更高版本上的靜默加載失敗問題，並將截圖作爲真實圖片（而非文件路徑）返回給視覺模型，同時提供了精確的圖像到屏幕像素的映射關係。

核心功能¶

• 加載與兼容性修復：解決了 DSH 0.1.2+ 版本下插件無法加載的問題，通過將命名導入改爲命名空間導入，並添加特性檢測，兼容新舊 API 版本。
• 視覺交互增強：computer_screenshot 返回真實圖片數據而非路徑，並攜帶 screen_per_pixel 屬性，確保視覺模型能精確識別屏幕位置。視覺模式會根據 vision_max_pixels 配置重新截圖，避免模糊。
• UI Automation 支持：支持通過 ref 或 name 直接點擊 UI 元素，無需手動計算像素座標。新增 computer_elements 工具可枚舉當前窗口控件。
• 窗口與輸入控制：提供 computer_list_windows 和 computer_activate_window 用於精確窗口管理。輸入工具（打字、按鍵、滾動、拖拽）支持 expect_window 參數，在發送輸入前檢查焦點窗口是否匹配，防止輸入錯亂。
• 安全與感知：內置控制指示器，顯示停止按鈕和全局熱鍵。支持 PerMonitorV2 DPI 感知，解決高分屏下的座標偏移問題。

安裝與啓用¶

• 環境要求：
  • 操作系統：Windows (僅支持 win32)。
  • Node.js：需要版本 ^22.19 或 >=24。
• 安裝方式：
  • 根據 README 文本，未提供具體的安裝命令。建議通過插件目錄頁面或直接訪問 GitHub 倉庫進行配置。插件遵循 MIT 許可證。

典型用法¶

• 截圖並顯示網格：

    computer_screenshot({ grid: 100 })

• 帶窗口檢查的輸入：

    // 只有噹噹前窗口標題包含“記事本”時才輸入文本
    { "text": "hello", "expect_window": "記事本" }

適用場景與注意¶

該插件專爲在 Windows 平臺上運行的 DeepSeek Harness 設計。由於涉及屏幕截圖和輸入控制，插件以當前 DSH 進程的權限運行。在安裝前，建議查閱源碼以確認其行爲符合預期。

結語¶

computer-user-vision 通過修復加載兼容性問題並引入基於 UI Automation 的精確控制機制，填補了 DSH 在 Windows 端視覺自動化場景下的空白。如需進一步瞭解或貢獻，可訪問插件目錄或 GitHub 倉庫。