在 DeepSeek Harness (DSH) 中，模型可以理解屏幕内容，但无法直接操作。这导致桌面任务必须由用户手动完成：描述屏幕、截图、点击、汇报结果。dsh-pilot 关闭了这个闭环，让模型通过真实像素进行推理，并直接操作鼠标和键盘。
这是什么¶
dsh-pilot 是 DeepSeek Harness 的一个插件，由用户 momasiku 维护，归类为工作流插件。它使用 MIT 许可证。
其核心价值在于为 DSH 提供了“手和眼”，使其能够控制整个 Windows 桌面环境，而非局限于浏览器。
核心功能¶
插件提供三个主要工具接口，分别对应视觉感知、桌面操作和批量执行：
-
screen_view
捕获实时桌面画面，返回 PNG 图片块。模型可以直接查看像素，而非 OCR 文本摘要。图片中包含坐标标尺，确保点击位置的准确性。 -
desktop_control
执行具体的桌面控制操作。支持移动指针、点击、拖动、滚动、输入文本、发送按键、聚焦窗口以及列出窗口控制树。 -
desktop_sequence
在一次调用中运行批量操作序列。这减少了模型与计算机之间的往返次数，提升了效率。
安装与启用¶
由于具体安装命令未在已核实事实中提供，请参考仓库文档。使用前需满足以下环境依赖：
- 平台：仅支持 Windows。
- Node.js 版本：要求
^22.19.0 || >=24.0.0。 - 依赖包：需要安装以下 peer dependencies：
@deepseek-ai/cordis@deepseek-ai/dsh-attachment@deepseek-ai/dsh-llm@deepseek-ai/dsh-tools
插件通过 cordis.patch.yml 进行集成，请确保环境配置正确。
典型用法¶
在 DSH 中调用 desktop_sequence 可以一次性完成一系列桌面操作。例如，打开 Excel 报表、修改单元格内容并保存：
desktop_sequence([
focus "报表.xlsx",
click 812,430,
type "Q3 收入",
key enter,
key ctrl+s
])
适用场景与注意¶
适用场景：
* 任何 Windows 桌面应用程序的操作，非浏览器自动化。
* 需要批量执行连续鼠标/键盘操作的任务。
注意事项：
* 权限与安全：插件以当前 DSH 进程的权限运行。安装前应检查源码和许可证（MIT）。
* 坐标精度：插件使用 per-monitor DPI aware 机制，确保截图坐标与物理屏幕像素一一对应，避免因 DPI 缩放导致的点击偏差。
* UI Automation 限制：虽然支持读取控制树以提高点击精度，但并非所有 UI 控件都支持此功能（如 Canvas、Electron 窗口等）。截图功能是兜底方案。
总结¶
dsh-pilot 通过提供屏幕截图和桌面控制能力，将 DSH 从“描述者”转变为“执行者”。对于需要在 Windows 桌面进行自动化操作的开发者来说，这是一个直接集成 DeepSeek 能力的工具。
