在 DeepSeek Harness (DSH) 中，模型可以理解屏幕內容，但無法直接操作。這導致桌面任務必須由用戶手動完成：描述屏幕、截圖、點擊、彙報結果。dsh-pilot 關閉了這個閉環，讓模型通過真實像素進行推理，並直接操作鼠標和鍵盤。
這是什麼¶
dsh-pilot 是 DeepSeek Harness 的一個插件，由用戶 momasiku 維護，歸類爲工作流插件。它使用 MIT 許可證。
其核心價值在於爲 DSH 提供了“手和眼”，使其能夠控制整個 Windows 桌面環境，而非侷限於瀏覽器。
核心功能¶
插件提供三個主要工具接口，分別對應視覺感知、桌面操作和批量執行：
-
screen_view
捕獲實時桌面畫面，返回 PNG 圖片塊。模型可以直接查看像素，而非 OCR 文本摘要。圖片中包含座標標尺，確保點擊位置的準確性。 -
desktop_control
執行具體的桌面控制操作。支持移動指針、點擊、拖動、滾動、輸入文本、發送按鍵、聚焦窗口以及列出窗口控制樹。 -
desktop_sequence
在一次調用中運行批量操作序列。這減少了模型與計算機之間的往返次數，提升了效率。
安裝與啓用¶
由於具體安裝命令未在已覈實事實中提供，請參考倉庫文檔。使用前需滿足以下環境依賴：
- 平臺：僅支持 Windows。
- Node.js 版本：要求
^22.19.0 || >=24.0.0。 - 依賴包：需要安裝以下 peer dependencies：
@deepseek-ai/cordis@deepseek-ai/dsh-attachment@deepseek-ai/dsh-llm@deepseek-ai/dsh-tools
插件通過 cordis.patch.yml 進行集成，請確保環境配置正確。
典型用法¶
在 DSH 中調用 desktop_sequence 可以一次性完成一系列桌面操作。例如，打開 Excel 報表、修改單元格內容並保存：
desktop_sequence([
focus "報表.xlsx",
click 812,430,
type "Q3 收入",
key enter,
key ctrl+s
])
適用場景與注意¶
適用場景：
* 任何 Windows 桌面應用程序的操作，非瀏覽器自動化。
* 需要批量執行連續鼠標/鍵盤操作的任務。
注意事項：
* 權限與安全：插件以當前 DSH 進程的權限運行。安裝前應檢查源碼和許可證（MIT）。
* 座標精度：插件使用 per-monitor DPI aware 機制，確保截圖座標與物理屏幕像素一一對應，避免因 DPI 縮放導致的點擊偏差。
* UI Automation 限制：雖然支持讀取控制樹以提高點擊精度，但並非所有 UI 控件都支持此功能（如 Canvas、Electron 窗口等）。截圖功能是兜底方案。
總結¶
dsh-pilot 通過提供屏幕截圖和桌面控制能力，將 DSH 從“描述者”轉變爲“執行者”。對於需要在 Windows 桌面進行自動化操作的開發者來說，這是一個直接集成 DeepSeek 能力的工具。
