Vision Use：让 DeepSeek Harness Agent 看见屏幕并操作 Windows 桌面

DeepSeek Harness (DSH) 采用插件化架构，Agent 的能力取决于已安装的插件。在开发涉及桌面操作的任务时，Agent 往往只能“看”到文本，无法直接与 Windows 界面交互。Vision Use 插件通过接入视觉通道与系统级操作接口，解决了这一痛点。

是什么¶

Vision Use 是一个 DeepSeek Harness 插件，由用户 zzy6-a 维护，开源协议为 MIT。它主要解决 Agent 无法直接感知桌面环境并进行鼠标、键盘操作的问题。

核心功能¶

插件提供以下工具接口：

• view_screen：截取 Windows 全屏，直接进入模型的视觉通道（非 OCR，真·看图）。
• view_image：将任意图片文件送入视觉通道（支持 Linux / Windows 路径）。
• computer_move：将光标平滑移动到指定坐标 (x, y)。
• computer_click：执行左/右/双击操作。
• computer_type：输入文字。默认使用真实按键逐键注入（零剪贴板），中文输入走输入法流程。
• computer_key：发送组合键（如 ctrl+t、enter、alt+f4）。
• computer_overlay：启动或停止操作覆盖层，可设置空闲自动关闭。
• computer_status：查询覆盖层状态、ESC 标志、当前模式及光标位置。

安装与启用¶

使用官方安装命令添加插件：

dsh plugin --profile web add https://github.com/zzy6-a/vision-use/releases/download/v0.2.0/dsh-vision-0.2.0.tgz

安装完成后需重启 DSH 客户端，并在浏览器刷新后输入框下方确认状态胶囊出现。

典型用法¶

启用插件后，Agent 可通过自然语言指令执行以下操作：

1. 看一下我的屏幕
2. 帮我在必应搜索 DeepSeek 官网并打开
3. 打开记事本打一段字

Agent 会自动启动覆盖层、执行 view_screen 视觉检查、调用 computer_* 系列工具进行操作，并在必要时再次截图验证。

适用场景与注意事项¶

系统环境¶

• 支持环境：Windows 原生与 WSL2 + Windows。插件会自动检测宿主环境并选择对应路径/子进程方案。
• 不支持环境：Linux / macOS 宿主当前只支持 Windows 原生与 WSL + Windows；其他系统下桌面控制工具会明确报错，view_image 仍可用。

兼容性限制¶

• 输入法：中文/非 ASCII 字符走输入法流程，通过发送拼音字母和空格上屏。
• Chromium：Chromium 浏览器忽略 KEYEVENTF_UNICODE 注入，需使用真实按键注入。
• WinUI：记事本等 WinUI 应用不认注入的 Ctrl 组合键。
• 自绘 UI：自绘 UI 的软件（如 Edge 标签栏）坐标不可信，建议先视觉定位。
• 光标覆盖：带自绘光标的软件（如部分游戏或 Electron 应用）无法被系统级光标替换。

隐私¶

截图会作为图片附件进入当前会话上下文，最终随会话请求发送给当前选中的模型。插件本身不产生网络请求，不调用任何 API。

结语¶

Vision Use 将视觉感知与系统操作结合，填补了 DSH Agent 在桌面交互领域的空白。安装并启用后，Agent 可以通过视觉通道理解屏幕内容，并使用鼠标、键盘工具执行任务。项目详情与源码请查看 GitHub 仓库。