computer-user: DeepSeek Harness 电脑操作插件

前言¶

DeepSeek Harness (DSH) 生态强调插件化。在使用纯文本模型进行桌面自动化时，往往面临缺乏视觉能力或依赖外部 API 的困境。computer-user 解决了这个问题，它允许纯文本模型通过本地图像分析工具来“看”屏幕，并直接控制操作系统进行操作。

是什么¶

computer-user 是一个 DSH 插件，支持 Codex 风格的电脑操作：读取屏幕并通过 Win32 SendInput 驱动鼠标与键盘。它允许纯文本模型配合本地图像分析工具（如 picturereader）来“看”屏幕并执行操作，完全在本地运行，无外部 API 调用。

核心功能¶

• 截图：截取整个虚拟屏幕 PNG，支持多显示器和 DPI 感知。
• 鼠标与键盘控制：通过 Win32 SendInput 驱动鼠标移动、点击、双击、拖放、滚动滚轮。
• 文本输入：支持输入任意 UTF-16 文本（含 CJK 字符）。
• 组合键支持：支持键盘组合（如 ["ctrl","c"]）。
• 纯文本模型支持：配合 picturereader，任何纯文本 LLM 都可以驱动桌面端。
• 本地化：截图、分析、输入均在本地完成，无外部 API 调用。

安装与启用¶

在 DSH profile 中执行以下命令安装：

dsh plugin --profile web add computer-user

安装后需重启 DSH 或在 EAC 设置中管理屏幕插件，工具即可在任意会话中生效。

典型用法¶

1. 截图与分析：调用 computer_screenshot 截取屏幕，将返回的路径喂给 picturereader 的 image_scan 或 image_ocr。
2. 文本输入：通过 computer_type 输入任意 UTF-16 文本。
3. 点击与交互：在特定坐标调用 computer_click，或执行 computer_keypress 触发快捷键。
4. 滚动与拖放：使用 computer_scroll 滚动页面，或使用 computer_drag 执行拖拽操作。

适用场景与注意¶

• 适用场景：适合需要本地、隐私安全的桌面自动化工作流，特别是使用 DeepSeek V4 Flash 等纯文本模型时。
• 坐标系统：坐标相对于虚拟屏幕原点（所有显示器合并），而非单一显示器。
• 目标窗口：操作前应先定位目标窗口，避免背景图标干扰 OCR 和点击。
• 输出 Guard：默认开启输出 Guard，防止模型将工具调用写为普通对话文本。如需输出代码片段，需在高级设置中关闭。
• 兼容性：支持 Headless 模式，并兼容 DeepSeek Harness EAC。

短结尾¶

computer-user 完成了“看-做-验”的本地闭环，填补了纯文本模型在桌面操作上的空白。其开源地址如下：

https://github.com/jing-hy/computer-user