前言¶
在 DeepSeek Harness(DSH)里做桌面任务时,常见做法是临时开特殊会话、切模式,或依赖外部 Computer Use 服务。模型要看屏幕、点鼠标、敲键盘,截图又大又费 token,动作做完也不知道有没有生效,容易反复重试。下面介绍 dsh-operator(维护者 yffo,分类:工作流):装一次挂进 desktop profile 后,标准 / PTC / 极简 / 创造等模式下的会话都会继承同一套桌面 GUI 工具与后台 code_agent,不依赖外部账号或远程运行时二进制。
这是什么¶
dsh-operator 是 DSH 的全局 Computer Use 插件:核心为 JavaScript + macOS 自带命令 + 编译好的小型 AX 助手。仓库 yffo/dsh-operator 采用 MIT 许可证;当前 package 版本为 0.121.6,要求 DSH 版本在 0.2.1–rc.2 以上且低于 0.3.0、Node 22.18 及以上。插件目录页:https://www.skillhub.cn/plugins/yffo/dsh-operator(社区目录站点,与 DeepSeek / 幻方无官方从属关系)。
接入 cua-driver 为可选增强,用于「AI 在后台操作、你同时用电脑」的人机并行;不装时基础工具仍可用。
核心功能¶
装一次,全局可用¶
插件挂在 host 层工具栈,当前和将来的会话自动继承,无需每个会话单独配置。
观察与省 token¶
- Retina 截图先按长边 1280、JPEG q80 编码再交给模型,量级约为原图 1/4。
- 观察只带当前一张截图,不为每一步上传历史图。
- 原生 App 可附 AX 文本快照(通常约 1KB),便于按名字/角色定位;Web/Electron AX 树很浅时会退回纯视觉。
- 工具策略提示词做过瘦身(README 称 8.4KB → 3.9KB)。
动作校验¶
每次动作后自动重采并比较,返回 actionEffect(confirmed / unverifiable / suspected_noop);失败附带可读提示,减少模型瞎猜。
工具能力(节选)¶
会话内工具按 README 分为观察、鼠标/键盘、AX 动作、窗口/应用、浏览器 DOM 与自动化、剪贴板、任务/技能、后台 code_agent、诊断等。常用示例:
| 类别 | 代表工具 |
|---|---|
| 观察 | screenshot、cu_observe、list_windows、ocr |
| 输入 | click、input_text、hotkey、cu_act(需 cua-driver) |
| AX | ax_press、ax_set_value、ax_batch |
| 应用 | open_app、cua_launch(后台启动) |
| 浏览器 | browser_*(真实 profile,经 cua-driver)、browser_dom_*(Chrome/Safari) |
| 后台 | code_agent(另起标准会话执行代码/长任务) |
旧版工具名默认保留,可用配置 legacyToolNames 关闭。只想看、不让动:对话中说「只读模式」,或将 profile 的 guiTools 设为 false。
安全边界¶
- guard:危险快捷键及「删除/移除/支付/发送」类静默按压默认拦截;确认时可传
confirm: true。 - 审计日志写入
~/.dsh/dsh-operator/audit.jsonl,只记元数据,不存屏幕内容与输入文本。 - 剪贴板:长文本输入采用快照 → 写入 → 粘贴 → 还原,不把剪贴板内容发给模型。
平台与限制¶
- macOS 已验证;Windows/Linux 代码兼容但未验证——Linux 桌面后端未实现会报
unsupported_platform;AX/浏览器/剪贴板等扩展工具仅在 macOS 注册。 - 插件以当前 DSH 进程权限运行,安装前请阅读源码与 MIT 许可证,确认你愿意授予屏幕录制与辅助功能。
安装与启用¶
先做下面两步,再完全退出 DSH(macOS 为 ⌘Q)并重新打开:
# 装进 desktop profile
dsh plugin --profile desktop add dsh-operator
首次使用 GUI 工具时,macOS 会请求「屏幕录制 / 辅助功能」,允许 DeepSeek Harness(或你的 DSH 宿主 App)即可。在任意会话中要求「截一张图看看我的屏幕」,能返回截图即表示通路正常。
升级与卸载:
dsh plugin --profile desktop update dsh-operator
# 或
dsh plugin --profile desktop remove dsh-operator
改动前可备份 ~/.dsh/profiles/desktop/ 下的 package.json、pnpm-lock.yaml、cordis.patch.yml 以便回滚。
典型用法¶
装好后用自然语言说明「目标 + 验收标准」即可,不必背工具名:
| 说法 | 预期行为 |
|---|---|
| 「打开系统设置,确认在「外观」页,截个图给我」 | 先看再开、最后给截图 |
| 「先看看现在前台是什么,别乱点」 | 只读观察 |
| 「这个流程存成技能,叫 archive-screenshots」 | 存成可回放技能 |
| 「写个交接」/ 新窗口只说「接手」 | 交接与无缝续做 |
可选 cua-driver 人机并行时,先安装并授权,再使用 cua_windows、cua_observe、cua_act、cua_launch 等;环境变量 DSH_OPERATOR_CUA=0 可关闭 cua 工具。浏览器自动化细节见仓库 docs/BROWSER-AUTOMATION.md、docs/CUA-DRIVER.md。
适用场景与注意¶
适合需要在 DSH 多模式下统一做桌面自动化、希望截图与 AX 观察控 token、并需要结构化动作反馈的开发者。仓库 README 标明 495 项测试通过 与 CI,可自行 npm run doctor 诊断。
务必明确:安装即授权插件控制桌面与读屏;截图会随会话请求发给模型服务商,属 Computer Use 本身成本;插件本身不上传数据到插件作者服务器。
结尾¶
dsh-operator 把 Computer Use 收到 DSH desktop profile 一层,用观察压缩、AX 快照和 actionEffect 校验降低试错成本,并用 guard 与审计划清安全边界。进一步了解请查看 SkillHub 目录页 与 GitHub 仓库。