前言¶
在开发基于屏幕感知的智能体时，多数计算机操作方案需要单独部署一个辅助二进制程序，并分别申请屏幕录制和辅助功能权限。这增加了部署复杂度，也提高了出错概率。dsh-mac-use 将所有能力打包为 DeepSeek Harness 的一个插件，运行在 Harness Desktop 主进程内部，通过系统原生 API 完成屏幕捕获、鼠标键盘驱动和窗口查询。
这是什么¶
dsh-mac-use 是 matyik 维护的 DeepSeek Harness 插件，专注于 macOS 平台的计算机操作能力。它不依赖额外的 helper 程序，而是通过 npm 依赖 koffi（FFI 库）直接调用 macOS API。插件提供了一组工具函数，让智能体能够观察屏幕、移动虚拟光标、点击、拖拽、滚动、输入文本、按键以及打开应用或 URL。所有权限均通过 DeepSeek Harness 应用本身向系统申请，智能体只需在 Harness 的预设中启用相应权限即可。
核心功能¶
插件提供以下工具函数：
computer_screenshot：捕获屏幕（主显示、区域、窗口或整个显示器），返回图片、边界和像素到点的缩放比例。computer_screen_info：读取显示器几何信息、光标位置和屏幕上的窗口列表（id、应用、标题、边界）。computer_move：将虚拟光标移动到全局显示坐标，真实指针不受影响。computer_click：在指定坐标点击（左/中/右键、单次/双击）。computer_drag：从坐标 1 拖拽到坐标 2。computer_scroll：在指定点或光标处滚动鼠标滚轮。computer_type：向当前焦点字段输入任意 Unicode 文本。computer_key：按下按键或组合键（字母、数字、方向键、回车、Tab、Esc、F 键，以及 cmd/shift/option/control）。computer_open：通过系统 open 命令打开 URL、文件或应用。
系统提示词会引导智能体遵循“观察 → 定位 → 像素转点 → 操作 → 再次截图验证”的流程。
安装与启用¶
安装通过 Harness 内置的插件管理器完成，无需手动编辑配置或执行 shell 命令。
从 npm 安装（推荐）：
dsh-mac-use
从 Git 安装：
github:matyik/dsh-mac-use
在 Web 界面：Plugins → Install bundle，输入上述任一安装规范（或本地目录路径）。插件管理器的 install_bundle 工具也支持相同的目标。
插件依赖 koffi@3.1.1（预构建 darwin-arm64 二进制），安装脚本会进行快速预检查，无需编译。
配置项¶
插件支持以下配置字段：
| 字段 | 默认值 | 说明 |
|---|---|---|
virtualCursor |
true |
使用虚拟智能体光标（点击后恢复真实指针），显示蓝色箭头；设为 false 则光标停留在点击位置。 |
postDelayMs |
25 |
按键按下与释放之间的延迟毫秒数。 |
scrollAmount |
3 |
每次滚动滚轮的步数。 |
typeDelayMs |
0 |
每个字符输入之间的延迟毫秒数。 |
权限设置¶
插件运行需要 macOS 系统权限，只需在系统设置中一次性授予 DeepSeek Harness 应用：
- 打开 系统设置 → 隐私与安全性 → 屏幕录制，启用 DeepSeek Harness。
- 打开 系统设置 → 隐私与安全性 → 辅助功能，启用 DeepSeek Harness。
- 完全退出并重新打开 DeepSeek Harness。
未授予相应权限时，对应工具会报错并提示需要开启的具体设置项。
坐标系统¶
所有鼠标坐标基于全局显示点，原点为主显示器的左上角，与 computer_screen_info 和点击工具使用同一坐标系。截图返回的是设备像素，computer_screenshot 同时提供 bounds（点）和 scale（图片像素/点）：
x = bounds.x + px / scale
y = bounds.y + py / scale
适用场景与注意¶
dsh-mac-use 适合在 macOS Apple Silicon 平台上开发需要屏幕感知与自动化操作的智能体。视觉模型（如 deepseek-flash）可用于完整的“观察-定位-操作-验证”循环；文本模型可仅使用 computer_screen_info 和动作工具。
插件在运行时直接操作真实桌面，属于高风险操作。建议将插件放入需要明确确认预设中，并在操作后使用截图进行结果验证。插件仅在 macOS 平台可用，其他平台注册工具但调用时会报错。
结语¶
dsh-mac-use 将计算机操作能力以插件形式集成到 DeepSeek Harness 生态中，通过原生 API 和虚拟光标机制，简化了 macOS 平台自动化流程。安装后只需授予 Harness 应用相应权限，即可让智能体在本地环境中完成屏幕感知与交互任务。
目录页：https://www.skillhub.cn/plugins/matyik/dsh-mac-use
GitHub：https://github.com/matyik/dsh-mac-use
