前言¶

DeepSeek Harness (DSH) 的核心理念是「一切皆插件」。在构建能够自主工作的 Agent 时，让模型直接操作本地桌面是常见需求。现有的解决方案往往依赖复杂的原生模块，或者难以集成到 DSH 的工作流中。copylee711/dsh-computer-use 旨在解决这一问题，它通过注入工具，将 Windows 的截图、鼠标点击、键盘输入与模型的能力直接打通。

这是什么¶

copylee711/dsh-computer-use 是 DeepSeek Harness 的 Windows 电脑控制插件。由用户 copylee711 维护，开源协议为 MIT。它解决的核心问题是：让模型在不依赖原生代码编译、不破坏剪贴板历史的前提下，通过截图和 UI Automation 机制，实现对 Windows 应用的操作。

核心功能¶

该插件通过一组工具和机制，将视觉信息转化为操作指令，并确保交互的稳定性和安全性。

1. 截图即坐标系：模型只需看图，插件自动处理 DPI 缩放、多显示器偏移，确保模型点击的坐标在屏幕上准确落点。
2. 动作后自动回传截图：执行点击、输入等动作后，插件会等待画面静止（最长约 2.5 秒）再截图。如果画面与上一张完全相同，则不再发送图片，仅告知模型“无可见变化”，从而节省 Token。
3. 按名称点控件：使用 target 参数指定控件的可见名称（如 "保存"、"按钮:确定"），代替坐标。即使控件在上一张截图中未出现，插件也会等待 3 秒直到它出现。
4. 等条件而不是等时间：wait 工具支持 until 参数，例如 wait until "window:另存为"，窗口或控件出现即继续，超时才报错。
5. 把窗口读成文本：ui_elements 配合 text: true 参数，可以直接读取窗口内的文字内容（默认取末尾 4000 字），比滚动截图更快。
6. 按应用授权：通过 request_access 列出需要操控的应用，由用户在 DSH 界面审批。也可设置为“全部允许”，但插件自身窗口和禁用列表中的应用仍不可操作。
7. 不会操作自己与保护剪贴板：插件会拒绝向 DeepSeek Harness 自身窗口输入；读写剪贴板后，会自动恢复用户原有的剪贴板内容，不会进入 Windows 剪贴板历史。
8. 零原生依赖：利用 DSH 自带的 koffi 库进行截图和输入，辅助程序使用系统自带的 .NET 编译，无需安装 node-gyp，不受 Electron ABI 影响。

安装与启用¶

安装此插件需要满足环境要求，并通过命令行或界面进行添加。

环境要求：
* 操作系统：Windows 10 2004+ / Windows 11。
* 依赖：DSH 0.2.0-rc.2 或更高版本。
* 模型：需要支持图片输入的模型（如 DeepSeek V4.1 Flash），纯文本模型会自动改用 ui_elements。

安装命令：

dsh plugin --profile web add @copylee/dsh-computer-use@latest

安装后，在 DSH 设置的「电脑控制」选项卡中启用该插件即可。

典型用法¶

启用插件后，模型会获得一系列新工具。以下是一些典型的使用场景和对应的工具调用：

• 打开应用：使用 open_application 打开 Chrome、记事本或微信。
  • 示例：open_application("记事本")。
• 批量操作：使用 computer_batch 串联多个动作，最后只截一张图。
  • 示例：输入文本、按回车、等待窗口出现、点击保存。
• 读取内容：使用 ui_elements 读取网页或文档的文字。
  • 示例：ui_elements(text: true)。
• 剪贴板操作：使用 clipboard 工具读写剪贴板文本。

适用场景与注意¶

该插件主要适用于 Windows 平台上的桌面自动化任务，但在使用时需注意以下限制和机制：

• 系统限制：仅支持 Windows。以管理员身份运行的窗口、UAC 弹窗、锁屏无法被控制（受 Windows UIPI 限制）。
• 文件存储：插件生成的截图附件默认存放在 ~/.dsh/attachments，随会话历史保留。
• 安全提示：插件注入的系统提示要求模型不代填密码、支付信息、不处理验证码，遇到此类情况应交还用户处理。
• 技能管理：插件内置了 Word、Excel、Chrome 等常见应用的操作技能，AI 可以在操作过程中使用 app_skill 记录新的操作规律。

结语¶

copylee711/dsh-computer-use 通过提供一套完整的工具链和友好的交互反馈（如橙色光晕、迷你进度卡片），降低了 Agent 操控 Windows 桌面的门槛。对于需要在本地执行复杂任务的开发者和用户来说，这是一个可以直接落地的解决方案。更多细节可查阅其 GitHub 仓库。