computer-use-agents:在 Skill 里落地「看屏、点按、输入」的计算机操控代理

前言

很多自动化任务卡在「只能调 API、碰不到真实界面」:要填网页表单、点桌面软件、对照屏幕上的按钮操作时,纯脚本或浏览器插件往往要单独维护一套逻辑。厂商侧已推出面向 GUI 的 Computer Use 类能力,但如何把 Anthropic、OpenAI 等路线整理成 Agent 能稳定遵循的提示与步骤,仍需要一份结构化的 Skill。下面介绍 SkillHub 上的 computer-use-agents,面向希望在对话式 Agent 里构建「像人一样操作计算机」的开发者。

这是什么

computer-use-agents 是 SkillHub 坐标 @org-02qudk26/computer-use-agents 下的企业来源(enterprise)Skill,当前版本 1.0.0,分类为 ai-agent,由 智雨科技 发布。

官方简介将其定位为:构建能像人类一样与计算机交互的 AI 代理——查看屏幕、移动光标、点击按钮、输入文字;并说明内容涵盖 Anthropic 的 Computer Use 以及 OpenAI 的(SkillHub 页面上该句在公开展示处被截断,完整表述需以安装后的 Skill 正文为准)。

页面标签标明 requires_api_key=false,即 Skill 本身不要求在 SkillHub 侧配置 API Key;实际调用各云厂商的 Computer Use 接口时,仍须在你自己的运行环境中配置对应密钥与权限。

核心功能(据公开资料)

结合 SkillHub 简介,可核实的能力方向包括:

  1. 感知界面:查看屏幕(或等价视觉输入),为后续决策提供上下文。
  2. 指针与点击:移动光标、点击按钮等 GUI 操作。
  3. 文本输入:在焦点控件中输入文字。
  4. 多路线覆盖:Skill 说明涵盖 Anthropic Computer Use;并提及 OpenAI 相关能力(公开页未展开具体产品名与 API 名称)。

SkillHub 公开页未列出独立脚本、配置字段或分步教程;更细的约束、推荐模型与调用方式通常在安装后的 SKILL.md 及附属参考文件中,由 Agent 在安装目录内读取。

安装与启用

安装流程遵循 SkillHub 通用说明(skillhub.cn/install/skillhub.md)。页面给出的安装提示为:请根据该文档安装 @org-02qudk26/computer-use-agents。

1、检查或安装 skillhub CLI

command -v skillhub && skillhub --version

若未安装,可使用官方安装脚本(完整安装含 CLI 与默认 Skill):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

仅需 CLI 时:

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only

2、安装本 Skill 到当前 Agent 的 skills 目录

安装时必须用 --dir 指向当前 Agent 识别的 skills 目录,否则默认会落到 ./skills/,Agent 可能无法加载。

skillhub install @org-02qudk26/computer-use-agents --dir <你的 skills 目录>

常用客户端路径(来自 SkillHub 安装文档):

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或项目下的 .agents/skills/

示例(在 Cursor 环境):

skillhub install @org-02qudk26/computer-use-agents --dir ~/.cursor/skills/

安装后按你所用客户端的要求重启或刷新 Agent,使新 Skill 被索引。

3、与「发给 AI 的安装提示」等价的做法

SkillHub 技能页提供自然语言安装提示:让 Agent 阅读 https://skillhub.cn/install/skillhub.md 并安装 @org-02qudk26/computer-use-agents。效果与你在终端执行 skillhub install 一致,关键是最终文件落在正确的 skills 目录。

典型用法

本次核对范围内,SkillHub 技能详情页与安装文档未提供可单独复制的端到端命令示例(例如某家 API 的完整请求体或最小 demo 仓库)。可复现路径是:

  1. 按上一节完成安装;
  2. 在已启用该 Skill 的 Agent 中,用自然语言描述目标界面与操作(例如「打开某应用并完成某表单」);
  3. 由 Agent 根据安装目录内的 SKILL.md(及可能的 reference)选择 Anthropic Computer Use 或文档中写明的 OpenAI 侧做法。

若你需要核对某条具体 API 或配置项,应在本地打开安装后的 Skill 文件,或以 SkillHub 后续更新的页面为准,避免凭截断简介臆测。

适用场景与注意

适合谁

  • 正在做 GUI 自动化 / 计算机操控类 Agent,希望把「看屏—决策—点按—输入」收敛到统一 Skill 流程的开发者。
  • 已使用或计划使用 Anthropic Computer Use 等能力,需要 Agent 侧有结构化指引的团队。

限制与注意

  • 公开简介中 OpenAI 相关描述不完整,实施前以安装包内文档为准。
  • Computer Use 类能力通常涉及屏幕内容、用户数据与第三方服务,需在隔离环境、权限最小化和合规前提下使用;Skill 标签仅表示 SkillHub 安装不要求 API Key,不替代云厂商账号与计费。
  • SkillHub 统计(截至资料抓取):评分 100000,下载 2930;分类 ai-agent。实际效果仍取决于你所选模型、环境与任务复杂度。

结尾

computer-use-agents 把「像人一样操作计算机」的能力收进标准 Skill 形态,便于在 Cursor、Claude Code、Codex 等支持 skills 目录的 Agent 里启用。安装与目录约定以 SkillHub 官方说明为准。

  • SkillHub 技能页:https://www.skillhub.cn/skills/org-02qudk26/computer-use-agents
  • API 坐标页:https://api.skillhub.cn/org-02qudk26/computer-use-agents
  • 安装文档:https://skillhub.cn/install/skillhub.md
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye