前言¶
在 Windows 上做 GUI 自动化，常见做法是写专用脚本或依赖 UI 自动化框架，往往要维护控件树、适配不同应用版本。微信、QQ 等基于 CEF 的客户端，标准控件定位并不稳定。若希望 Agent 根据当前画面决定点哪里、输入什么，并在操作后再看一眼屏幕确认结果，需要把截图、视觉理解和底层输入串成一条可重复的链路。下面介绍 SkillHub 上的 desktop-control-win32 技能，它按「截图 → 视觉理解 → win32api 操控 → 再截图验证」组织这一套流程。
这是什么¶
desktop-control-win32（坐标 @user_121462b9/desktop-control-win32）是面向 Windows 桌面 的 Agent Skill，由社区发布者 user_121462b9 维护，分类为 ai-agent，当前版本 1.0.0，来源标注为 community。
一句话定位：在用户要求操控本机 Windows 界面时——点击按钮、输入文字、在 GUI 应用（如微信等）里发消息，或完成任意基于屏幕的交互——由 Agent 按技能说明走完整闭环，而不是只给出操作步骤文字。
官方入口：
- SkillHub 页面：https://www.skillhub.cn/skills/user_121462b9/desktop-control-win32
- API 资源页：https://api.skillhub.cn/user_121462b9/desktop-control-win32
技能标签包含 requires_api_key=true，使用视觉模型环节需要自行配置可用的 API Key（资料中视觉模型为 GLM-4V-Flash）。
核心功能¶
以下能力均来自 SkillHub 页面与抓取简介，未额外扩展：
- 截取屏幕或窗口截图，作为后续理解与验证的输入。
- 调用视觉模型理解画面（资料写明使用 GLM-4V-Flash），用于定位按钮、输入框、聊天窗口等可见元素。
- 底层鼠标操作：通过 win32api 发送点击；说明中强调对微信、QQ 等 CEF 应用 的兼容。
- 键盘输入与剪贴板粘贴，用于填表、发消息等文本场景。
- 操作后再次截图并验证，形成「执行 → 核对」的闭环，降低误点、未聚焦窗口仍继续操作的风险。
整体链路可概括为：
截图 → GLM-4V-Flash 视觉理解 → win32api 鼠标/键盘 → 截图验证
安装与启用¶
技能基于通用 SKILL.md 格式。在 SkillHub 上安装时，官方提示为：根据 SkillHub 安装说明 安装坐标 @user_121462b9/desktop-control-win32。
1、安装 SkillHub CLI（若尚未安装）¶
先检查是否已有 CLI：
command -v skillhub && skillhub --version
未安装时，可按 SkillHub 文档执行完整安装（CLI + 默认 Skill）：
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash
仅需 CLI 时：
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only
2、安装本技能到当前 Agent 的 skills 目录¶
安装技能时必须用 --dir 指向当前 Agent 识别的 skills 目录；否则默认落在 ./skills/，Agent 可能无法加载。
skillhub install user_121462b9/desktop-control-win32 --dir <skills 目录>
常用客户端路径（摘自 SkillHub 安装文档）：
| 环境 | skills 目录 |
|---|---|
| Cursor | ~/.cursor/skills/ |
| Claude Code | ~/.claude/skills/ |
| Codex | ~/.codex/skills/ 或项目下 .agents/skills/ |
在 Cursor 中示例：
skillhub install user_121462b9/desktop-control-win32 --dir ~/.cursor/skills/
安装后若 Agent 未立即识别新技能，按所用客户端说明重启或刷新技能列表。
3、API Key¶
页面标签为 requires_api_key=true，视觉理解依赖 GLM-4V-Flash。具体环境变量名与配置方式以技能包内 SKILL.md 及发布者说明为准；本文不臆造字段名，安装后应打开技能目录中的说明完成 Key 配置。
典型用法¶
官方资料未提供独立脚本示例，但明确了 Use when 条件与闭环步骤，可据此向 Agent 发起可复现任务（需在已安装技能、已配置 API Key 的 Windows 环境中执行）：
- 用自然语言说明目标，例如：「在当前微信窗口给某人发送一段文字」「点击某个对话框上的确认按钮」。
- Agent 按技能流程：先截图 → 调用视觉模型理解界面 → 用 win32api 移动鼠标、点击或配合键盘/剪贴板输入。
- 再次截图，对照预期界面状态，确认是否成功；若未成功，可在同一会话中继续迭代。
也可将 SkillHub 页面上的安装提示直接发给 AI，让其按 skillhub.md 完成安装后再执行桌面操控任务。
适用场景与注意¶
适合：
- 需要在 本机 Windows 上完成 GUI 操作，且希望 Agent 根据 当前屏幕内容 决策，而不是固定坐标脚本。
- 目标应用包含 微信、QQ 等 CEF 客户端，资料声称 win32api 点击路径对此类场景更友好。
- 愿意接受「视觉模型 + API Key」成本，并需要 操作后截图验证 的自动化方式。
限制与注意：
- 仅 Windows：依赖 win32api，无法在 Linux/macOS 上直接复用同一套操控逻辑。
- 安全与权限：桌面操控等同于用户本机操作，应在可信环境使用，避免让 Agent 在敏感界面无监督执行。
- 视觉与分辨率：不同缩放比例、多显示器、遮挡窗口会影响识别与点击精度；验证环节用于兜底，但不能替代人工对高风险操作的确认。
- 数据以 SkillHub 为准：抓取时页面显示评分为 100000、下载约 1108 次；若你打开页面时数字已更新，以官网实时展示为准。
结尾¶
desktop-control-win32 把 Windows 桌面自动化收成 Agent 可执行的固定链路：截图、GLM-4V-Flash 理解、win32api 输入、再截图验证。适合需要操控 GUI（含微信等 CEF 应用）且希望闭环核对的场景。安装与坐标说明见 SkillHub 技能页，资源页见 api.skillhub.cn。
