前言¶

在 Windows 上做 GUI 自动化，常见做法是写专用脚本或依赖 UI 自动化框架，往往要维护控件树、适配不同应用版本。微信、QQ 等基于 CEF 的客户端，标准控件定位并不稳定。若希望 Agent 根据当前画面决定点哪里、输入什么，并在操作后再看一眼屏幕确认结果，需要把截图、视觉理解和底层输入串成一条可重复的链路。下面介绍 SkillHub 上的 desktop-control-win32 技能，它按「截图 → 视觉理解 → win32api 操控 → 再截图验证」组织这一套流程。

这是什么¶

desktop-control-win32（坐标 @user_121462b9/desktop-control-win32）是面向 Windows 桌面 的 Agent Skill，由社区发布者 user_121462b9 维护，分类为 ai-agent，当前版本 1.0.0，来源标注为 community。

一句话定位：在用户要求操控本机 Windows 界面时——点击按钮、输入文字、在 GUI 应用（如微信等）里发消息，或完成任意基于屏幕的交互——由 Agent 按技能说明走完整闭环，而不是只给出操作步骤文字。

官方入口：

• SkillHub 页面：https://www.skillhub.cn/skills/user_121462b9/desktop-control-win32
• API 资源页：https://api.skillhub.cn/user_121462b9/desktop-control-win32

技能标签包含 requires_api_key=true，使用视觉模型环节需要自行配置可用的 API Key（资料中视觉模型为 GLM-4V-Flash）。

核心功能¶

以下能力均来自 SkillHub 页面与抓取简介，未额外扩展：

1. 截取屏幕或窗口截图，作为后续理解与验证的输入。
2. 调用视觉模型理解画面（资料写明使用 GLM-4V-Flash），用于定位按钮、输入框、聊天窗口等可见元素。
3. 底层鼠标操作：通过 win32api 发送点击；说明中强调对微信、QQ 等 CEF 应用 的兼容。
4. 键盘输入与剪贴板粘贴，用于填表、发消息等文本场景。
5. 操作后再次截图并验证，形成「执行 → 核对」的闭环，降低误点、未聚焦窗口仍继续操作的风险。

整体链路可概括为：

截图 → GLM-4V-Flash 视觉理解 → win32api 鼠标/键盘 → 截图验证

安装与启用¶

技能基于通用 SKILL.md 格式。在 SkillHub 上安装时，官方提示为：根据 SkillHub 安装说明 安装坐标 @user_121462b9/desktop-control-win32。

1、安装 SkillHub CLI（若尚未安装）¶

先检查是否已有 CLI：

command -v skillhub && skillhub --version

未安装时，可按 SkillHub 文档执行完整安装（CLI + 默认 Skill）：

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

仅需 CLI 时：

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only

2、安装本技能到当前 Agent 的 skills 目录¶

安装技能时必须用 --dir 指向当前 Agent 识别的 skills 目录；否则默认落在 ./skills/，Agent 可能无法加载。

skillhub install user_121462b9/desktop-control-win32 --dir <skills 目录>

常用客户端路径（摘自 SkillHub 安装文档）：

在 Cursor 中示例：

skillhub install user_121462b9/desktop-control-win32 --dir ~/.cursor/skills/

安装后若 Agent 未立即识别新技能，按所用客户端说明重启或刷新技能列表。

3、API Key¶

页面标签为 requires_api_key=true，视觉理解依赖 GLM-4V-Flash。具体环境变量名与配置方式以技能包内 SKILL.md 及发布者说明为准；本文不臆造字段名，安装后应打开技能目录中的说明完成 Key 配置。

典型用法¶

官方资料未提供独立脚本示例，但明确了 Use when 条件与闭环步骤，可据此向 Agent 发起可复现任务（需在已安装技能、已配置 API Key 的 Windows 环境中执行）：

1. 用自然语言说明目标，例如：「在当前微信窗口给某人发送一段文字」「点击某个对话框上的确认按钮」。
2. Agent 按技能流程：先截图 → 调用视觉模型理解界面 → 用 win32api 移动鼠标、点击或配合键盘/剪贴板输入。
3. 再次截图，对照预期界面状态，确认是否成功；若未成功，可在同一会话中继续迭代。

也可将 SkillHub 页面上的安装提示直接发给 AI，让其按 skillhub.md 完成安装后再执行桌面操控任务。

适用场景与注意¶

适合：

• 需要在 本机 Windows 上完成 GUI 操作，且希望 Agent 根据 当前屏幕内容 决策，而不是固定坐标脚本。
• 目标应用包含 微信、QQ 等 CEF 客户端，资料声称 win32api 点击路径对此类场景更友好。
• 愿意接受「视觉模型 + API Key」成本，并需要 操作后截图验证 的自动化方式。

限制与注意：

• 仅 Windows：依赖 win32api，无法在 Linux/macOS 上直接复用同一套操控逻辑。
• 安全与权限：桌面操控等同于用户本机操作，应在可信环境使用，避免让 Agent 在敏感界面无监督执行。
• 视觉与分辨率：不同缩放比例、多显示器、遮挡窗口会影响识别与点击精度；验证环节用于兜底，但不能替代人工对高风险操作的确认。
• 数据以 SkillHub 为准：抓取时页面显示评分为 100000、下载约 1108 次；若你打开页面时数字已更新，以官网实时展示为准。

结尾¶

desktop-control-win32 把 Windows 桌面自动化收成 Agent 可执行的固定链路：截图、GLM-4V-Flash 理解、win32api 输入、再截图验证。适合需要操控 GUI（含微信等 CEF 应用）且希望闭环核对的场景。安装与坐标说明见 SkillHub 技能页，资源页见 api.skillhub.cn。