AI-Eyes 屏幕视觉插件 2.0:用视觉金字塔为文字 AI 定位屏幕 UI

前言

做 RPA、游戏脚本或 UI 自动化测试时,常见做法是写固定坐标或依赖控件树。界面一改版、换分辨率或多显示器布局变化,脚本就容易点错或找不到元素。纯 OCR 能读出文字,却未必给出可点击的精确坐标;把整张截图丢给多模态模型,又往往不够稳定、也难以复现到自动化链路里。

下面介绍 SkillHub 上的 AI-Eyes 屏幕视觉插件-2.0版(给文字AI装上眼睛):以 VisionLocator「视觉金字塔定位器」为核心,模拟人类「先看全局、再局部放大」的看屏方式,分层放大后在屏幕上定位 UI 元素。Skill 坐标为 @user_09a38a2b/dgjh,当前版本 2.0.0,分类 ai-agent,标签标明 requires_api_key=false(无需单独配置 API Key)。

这是什么

AI-Eyes 2.0 是社区发布的 Agent Skill,维护者为 SkillHub 用户 独孤剑虎(页面标注「作者」)。一句话定位:视觉金字塔定位器——让接入该 Skill 的文字 AI 具备「看屏幕、找元素、给出定位结果」的能力,面向按钮、图标、输入框等界面控件的查找与坐标级定位。

官方简介强调:模拟人类视觉,AI 分层放大、精准定位屏幕上任意 UI 元素;支持 4 种匹配模式,标称精度 0.125px,并宣称 开箱即用、包体约 38KB、无冗余依赖。

核心功能

以下能力均来自 SkillHub 页面与已抓取资料,未在资料中出现的实现细节不作展开。

视觉金字塔与精度

采用多层级放大策略,贴近「先锁定区域、再细化到像素」的目视流程。页面亮点写明:多层级放大,0.125px 超高精度,适合需要稳定点击坐标的自动化场景。

四种匹配模式

Skill 说明支持 4 种匹配模式(官方未在公开摘要中逐一命名四种模式的具体差异)。在 Agent 对话中,可通过 Skill 自带的触发语义描述目标(见下文「典型用法」),由 Skill 引导选用合适模式完成定位。

语义理解

亮点中举例:语义上相近的文案可被关联,例如 「提交」≈「确认」≈「OK」。这对多语言界面、文案不统一的业务系统有一定帮助,减少「必须一字不差匹配按钮文字」的限制。

多显示器

官方写明 多显示器自动适配,适合桌面扩展屏、远程桌面或多屏开发环境,避免硬编码单屏分辨率。

体量与依赖

公开资料称 Skill 约 38KB,无冗余依赖,便于随 Agent 工作区分发,不额外要求 API Key(requires_api_key=false)。

安装与启用

SkillHub 提供的安装方式,是让 AI 按统一安装文档拉取指定坐标 Skill,而不是在文中臆造一条未公开的 shell 命令。

在 SkillHub 技能页 上,官方给出的提示词大意如下:请根据安装说明文档安装本 Skill。页面重复出现的可核对表述为:

请根据 https://skillhub.cn/install/skillhub.md,安装 `@user_09a38a2b/dgjh`。

说明: 将上述意图发给已支持 SkillHub 安装流程的 Agent(如 Cursor、Claude Code 等,具体以你使用的客户端是否支持 skillhub.md 安装协议为准)。安装坐标固定为 @user_09a38a2b/dgjh。撰写时尝试打开 https://skillhub.cn/install/skillhub.md 核对逐步命令,该地址曾返回服务错误,因此 Cursor / Codex CLI / Claude Code 的分平台差异命令此处不编造;以你本地 Agent 执行安装文档后的结果为准。

安装完成后,在工作区或 Agent 的 Skills 列表中应能看到 AI-Eyes 屏幕视觉插件-2.0版,版本 2.0.0。

典型用法

公开页未附带完整可复制的端到端脚本示例,下面写法对应当前能核实的 触发方式 与 能力描述,便于在对话里复现「找元素 → 得坐标 → 交给自动化」的链路。

用自然语言触发定位

Skill 设计了一组与屏幕查找相关的触发语义(安装后由 Agent 加载 Skill 说明)。在对话中可直接描述任务,例如:

  • 截图定位、屏幕查找、找按钮、找图标、找元素、定位 UI
  • 屏幕自动化、找到按钮位置、屏幕点击、视觉定位、图像查找
  • find button、screen locate、UI automation、元素定位、坐标查找
  • 在屏幕上找、屏幕识别、OCR 定位、视觉识别、精准点击、自动点击位置

建议步骤:

  1. 确保当前会话已启用 @user_09a38a2b/dgjh。
  2. 用触发词或等价描述说明要找的对象(如「找登录页的提交按钮」「定位设置图标」)。
  3. 按 Skill 指引提供或生成当前屏幕截图(具体交互以 Skill 内 SKILL.md 为准;公开摘要未写死截图格式)。
  4. 获取定位结果(坐标或区域),再交给你的 RPA / 测试框架 / 点击脚本执行后续操作。

与自动化衔接

资料中的适用方向包括:RPA 精准点按钮与输入框、游戏界面元素定位、UI 测试中的元素查找、以及 辅助功能 场景下帮助用户找到屏幕上的特定元素。衔接方式通常是:本 Skill 负责「看屏 + 定位」,外层工具负责「点击、输入、断言」。

适用场景与注意

适合谁

  • 需要让文字 Agent 参与「看界面、找控件」的自动化作者;
  • 多显示器或常改版的桌面/Web 客户端,不愿维护大量固定坐标;
  • 希望利用语义相近文案做按钮匹配的团队(仍建议在关键路径上做人工抽检)。

使用上需注意

  • 四种匹配模式的具体名称、参数与返回字段,需以安装后 Skill 包内文档为准;公开页只有能力摘要。
  • 0.125px、38KB 等数字来自官方宣传,实际效果取决于分辨率、缩放比、主题与遮挡情况。
  • SkillHub 统计(撰写时页面数据):评分 100000,下载 1917,安装 36;与第三方转载数据不一致时,以 官方技能页 为准。
  • 屏幕自动化涉及隐私与合规:仅在你有权操作的设备与界面上使用,避免对敏感窗口截图外泄。

结尾

AI-Eyes 屏幕视觉插件 2.0 把「视觉金字塔 + 分层放大」做成 Agent Skill,让文字 AI 在找按钮、找图标、做 UI 定位时有一条可复用的路径;无需 API Key,体量小,并强调多显示器与语义相近文案的匹配。若你要在 Agent 工作流里补上「眼睛」,可按官方提示安装 @user_09a38a2b/dgjh。

  • SkillHub 技能页:https://www.skillhub.cn/skills/user_09a38a2b/dgjh
  • API 坐标入口:https://api.skillhub.cn/user_09a38a2b/dgjh
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye