AI-Eyes 屏幕視覺插件 2.0:用視覺金字塔爲文字 AI 定位屏幕 UI

前言

做 RPA、遊戲腳本或 UI 自動化測試時,常見做法是寫固定座標或依賴控件樹。界面一改版、換分辨率或多顯示器佈局變化,腳本就容易點錯或找不到元素。純 OCR 能讀出文字,卻未必給出可點擊的精確座標;把整張截圖丟給多模態模型,又往往不夠穩定、也難以復現到自動化鏈路裏。

下面介紹 SkillHub 上的 AI-Eyes 屏幕視覺插件-2.0版(給文字AI裝上眼睛):以 VisionLocator「視覺金字塔定位器」爲核心,模擬人類「先看全局、再局部放大」的看屏方式,分層放大後在屏幕上定位 UI 元素。Skill 座標爲 @user_09a38a2b/dgjh,當前版本 2.0.0,分類 ai-agent,標籤標明 requires_api_key=false(無需單獨配置 API Key)。

這是什麼

AI-Eyes 2.0 是社區發佈的 Agent Skill,維護者爲 SkillHub 用戶 獨孤劍虎(頁面標註「作者」)。一句話定位:視覺金字塔定位器——讓接入該 Skill 的文字 AI 具備「看屏幕、找元素、給出定位結果」的能力,面向按鈕、圖標、輸入框等界面控件的查找與座標級定位。

官方簡介強調:模擬人類視覺,AI 分層放大、精準定位屏幕上任意 UI 元素;支持 4 種匹配模式,標稱精度 0.125px,並宣稱 開箱即用、包體約 38KB、無冗餘依賴。

核心功能

以下能力均來自 SkillHub 頁面與已抓取資料,未在資料中出現的實現細節不作展開。

視覺金字塔與精度

採用多層級放大策略,貼近「先鎖定區域、再細化到像素」的目視流程。頁面亮點寫明:多層級放大,0.125px 超高精度,適合需要穩定點擊座標的自動化場景。

四種匹配模式

Skill 說明支持 4 種匹配模式(官方未在公開摘要中逐一命名四種模式的具體差異)。在 Agent 對話中,可通過 Skill 自帶的觸發語義描述目標(見下文「典型用法」),由 Skill 引導選用合適模式完成定位。

語義理解

亮點中舉例:語義上相近的文案可被關聯,例如 「提交」≈「確認」≈「OK」。這對多語言界面、文案不統一的業務系統有一定幫助,減少「必須一字不差匹配按鈕文字」的限制。

多顯示器

官方寫明 多顯示器自動適配,適合桌面擴展屏、遠程桌面或多屏開發環境,避免硬編碼單屏分辨率。

體量與依賴

公開資料稱 Skill 約 38KB,無冗餘依賴,便於隨 Agent 工作區分發,不額外要求 API Key(requires_api_key=false)。

安裝與啓用

SkillHub 提供的安裝方式,是讓 AI 按統一安裝文檔拉取指定座標 Skill,而不是在文中臆造一條未公開的 shell 命令。

在 SkillHub 技能頁 上,官方給出的提示詞大意如下:請根據安裝說明文檔安裝本 Skill。頁面重複出現的可覈對表述爲:

請根據 https://skillhub.cn/install/skillhub.md,安裝 `@user_09a38a2b/dgjh`。

說明: 將上述意圖發給已支持 SkillHub 安裝流程的 Agent(如 Cursor、Claude Code 等,具體以你使用的客戶端是否支持 skillhub.md 安裝協議爲準)。安裝座標固定爲 @user_09a38a2b/dgjh。撰寫時嘗試打開 https://skillhub.cn/install/skillhub.md 覈對逐步命令,該地址曾返回服務錯誤,因此 Cursor / Codex CLI / Claude Code 的分平臺差異命令此處不編造;以你本地 Agent 執行安裝文檔後的結果爲準。

安裝完成後,在工作區或 Agent 的 Skills 列表中應能看到 AI-Eyes 屏幕視覺插件-2.0版,版本 2.0.0。

典型用法

公開頁未附帶完整可複製的端到端腳本示例,下面寫法對應當前能覈實的 觸發方式 與 能力描述,便於在對話裏復現「找元素 → 得座標 → 交給自動化」的鏈路。

用自然語言觸發定位

Skill 設計了一組與屏幕查找相關的觸發語義(安裝後由 Agent 加載 Skill 說明)。在對話中可直接描述任務,例如:

  • 截圖定位、屏幕查找、找按鈕、找圖標、找元素、定位 UI
  • 屏幕自動化、找到按鈕位置、屏幕點擊、視覺定位、圖像查找
  • find button、screen locate、UI automation、元素定位、座標查找
  • 在屏幕上找、屏幕識別、OCR 定位、視覺識別、精準點擊、自動點擊位置

建議步驟:

  1. 確保當前會話已啓用 @user_09a38a2b/dgjh。
  2. 用觸發詞或等價描述說明要找的對象(如「找登錄頁的提交按鈕」「定位設置圖標」)。
  3. 按 Skill 指引提供或生成當前屏幕截圖(具體交互以 Skill 內 SKILL.md 爲準;公開摘要未寫死截圖格式)。
  4. 獲取定位結果(座標或區域),再交給你的 RPA / 測試框架 / 點擊腳本執行後續操作。

與自動化銜接

資料中的適用方向包括:RPA 精準點按鈕與輸入框、遊戲界面元素定位、UI 測試中的元素查找、以及 輔助功能 場景下幫助用戶找到屏幕上的特定元素。銜接方式通常是:本 Skill 負責「看屏 + 定位」,外層工具負責「點擊、輸入、斷言」。

適用場景與注意

適合誰

  • 需要讓文字 Agent 參與「看界面、找控件」的自動化作者;
  • 多顯示器或常改版的桌面/Web 客戶端,不願維護大量固定座標;
  • 希望利用語義相近文案做按鈕匹配的團隊(仍建議在關鍵路徑上做人工抽檢)。

使用上需注意

  • 四種匹配模式的具體名稱、參數與返回字段,需以安裝後 Skill 包內文檔爲準;公開頁只有能力摘要。
  • 0.125px、38KB 等數字來自官方宣傳,實際效果取決於分辨率、縮放比、主題與遮擋情況。
  • SkillHub 統計(撰寫時頁面數據):評分 100000,下載 1917,安裝 36;與第三方轉載數據不一致時,以 官方技能頁 爲準。
  • 屏幕自動化涉及隱私與合規:僅在你有權操作的設備與界面上使用,避免對敏感窗口截圖外泄。

結尾

AI-Eyes 屏幕視覺插件 2.0 把「視覺金字塔 + 分層放大」做成 Agent Skill,讓文字 AI 在找按鈕、找圖標、做 UI 定位時有一條可複用的路徑;無需 API Key,體量小,並強調多顯示器與語義相近文案的匹配。若你要在 Agent 工作流裏補上「眼睛」,可按官方提示安裝 @user_09a38a2b/dgjh。

  • SkillHub 技能頁:https://www.skillhub.cn/skills/user_09a38a2b/dgjh
  • API 座標入口:https://api.skillhub.cn/user_09a38a2b/dgjh
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜