ocr-screen:在 Agent 裏做截圖文字識別

前言

日常開發裏,錯誤彈窗、設計稿標註、會議 PPT 截圖往往只有像素,沒有可選中的文字。手動抄錄慢,把圖丟給通用對話又容易漏格式。若希望 Coding Agent 按固定流程讀圖、出純文本,需要一份寫進 SKILL.md 的說明,而不是每次臨時口述。

下面介紹 SkillHub 社區 Skill ocr-screen(座標 @user_25ab92ec/ocr-screen,當前版本 1.0.0)。它在商店中的簡介是「截圖文字識別」,分類爲 office-efficiency,子類包含文檔處理與 PDF 處理;標籤標明 requires_api_key=false,無需單獨配置 API Key。

這是什麼

ocr-screen 是發佈者 user_25ab92ec 上傳的社區來源(source: community)Skill,通過通用 Agent Skill 格式(SKILL.md + 入口腳本)指導模型:對本地截圖/圖片做 OCR,輸出可複製文本。包內 skill.json 將入口指向 src/main.py,Python 要求 >=3.9.0。

SkillHub 頁面:https://www.skillhub.cn/skills/user_25ab92ec/ocr-screen
API 資源地址:https://api.skillhub.cn/user_25ab92ec/ocr-screen

核心功能

依據已下載的官方 Zip 包(ocr-screen-1.0.0)中的 SKILL.md 與 src/main.py,可覈對的能力如下。

  1. 中英文識別:SKILL.md 聲明支持 ocr_chinese、ocr_english;腳本默認語言爲 chi_sim+eng(Tesseract)。
  2. 圖片格式:main.py 支持 .png、.jpg、.jpeg、.bmp、.webp。
  3. 命令行提取:可對單張圖片識別,並通過 --output / -o 寫入文本文件;--lang 可改識別語言。
  4. Skill 文檔中的擴展能力:SKILL.md 列出斜槓命令 /ocr、/ocr-table,以及表格識別、批量處理;是否在具體 Agent 中映射爲斜槓命令,取決於該客戶端的 Skill 實現。表格與批量流程以 Skill 正文爲準。
  5. PDF:腳本對 .pdf 會提示需額外依賴,建議改用其他服務;若你的場景以 PDF 爲主,需先確認依賴是否已按 Skill 說明補齊。

依賴(SKILL.md):pytesseract、Pillow;系統還需安裝 Tesseract OCR(Linux 示例爲 tesseract-ocr 包,macOS 爲 brew install tesseract)。

安裝與啓用

官方頁面提供兩種常見路徑:讓 AI 按安裝文檔操作,或使用 SkillHub CLI / Zip 包。

方式一:提示詞安裝(SkillHub 推薦文案)

將下面意圖發給當前 Agent(與官網安裝卡片一致):

請根據 https://skillhub.cn/install/skillhub.md,安裝 @user_25ab92ec/ocr-screen。

安裝文檔要求:使用 skillhub install 時必須加 --dir,指向當前 Agent 的 skills 目錄,否則默認裝到 ./skills/ 可能不會被識別。

方式二:SkillHub CLI

先確認是否已安裝 CLI:

command -v skillhub && skillhub --version

未安裝時可執行(完整安裝,含默認 Skill):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安裝本 Skill 時,將 <skills 目錄> 換成你使用的客戶端路徑,例如:

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或項目下 .agents/skills/
skillhub install user_25ab92ec/ocr-screen --dir ~/.cursor/skills/

(路徑請按實際 Agent 調整;文檔見 https://skillhub.cn/install/skillhub.md 第四節。)

方式三:Zip 包

SkillHub 詳情頁提供 1.0.0 Zip 下載(鏈接形如 https://api.skillhub.cn/api/v1/download?slug=@user_25ab92ec/ocr-screen)。解壓後把 Skill 目錄放到對應 Agent 的 skills 路徑即可。

Python 依賴

首次跑 OCR 前,按 SKILL.md 安裝 Python 與系統依賴:

pip install pytesseract pillow
# Ubuntu/Debian 還需要:
sudo apt-get install tesseract-ocr
# macOS:
brew install tesseract

典型用法

Skill 文檔中的斜槓命令示例

SKILL.md 給出的用法爲:

/ocr screenshot.png
/ocr-table form.jpg

在支持 Skill 斜槓命令的客戶端中,可對 Agent 說明圖片路徑,讓其按 Skill 流程調用。

入口腳本(包內 src/main.py)

在 Skill 目錄下,也可直接調用入口腳本(與 skill.json 的 entry_point 一致):

python src/main.py screenshot.png
python src/main.py screenshot.png -o result.txt
python src/main.py screenshot.png --lang chi_sim+eng

識別結果會打印到終端;指定 -o 時會額外寫入 UTF-8 文本文件。

SKILL.md 還提到輸出可包含純文本,並可選導出 Word/Excel;具體步驟以 Skill 正文與 Agent 執行結果爲準(商店頁 overviewMd 當前爲空,無額外概述)。

適用場景與注意

適合誰

  • 需要在 Cursor、Claude Code 等環境裏,把截圖、界面圖裏的中英文轉成可編輯文本。
  • 希望用固定 Skill 約束 Agent:先裝 Tesseract 依賴,再讀本地圖片,而不是每次描述一遍 OCR 流程。

限制與注意

  1. 社區 Skill:來源爲 community,作者未在 SkillHub 顯示認證標識;使用前請自行評估腳本內容與權限(包內 permissions 含 file_access)。
  2. 識別質量:依賴 Tesseract 與圖片清晰度,複雜版式、手寫體可能不準。
  3. PDF / 表格:PDF 在現版 main.py 中未完整實現;表格能力以 SKILL.md 聲明爲準,部署後建議用樣例圖自測。
  4. 商店數據(抓取時):評分 100000;下載 7034 次、安裝 228 次;SkillHub 安全掃描狀態爲 benign(頁面 JSON)。數據會隨時間變化,請以官網爲準。

結尾

ocr-screen 把「截圖 → 文本」收斂成可安裝的 Agent Skill:免 API Key,靠 pytesseract 與本地 Tesseract 完成中英文 OCR,並附帶 CLI 與文檔中的 /ocr 用法。若你經常在 Agent 會話裏處理截圖文字,可按上文安裝到對應 skills 目錄後試用。

官方地址:https://api.skillhub.cn/user_25ab92ec/ocr-screen
SkillHub 展示頁:https://www.skillhub.cn/skills/user_25ab92ec/ocr-screen

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜