前言¶
做數據採集時，常見路徑是爲每個站點寫選擇器、維護分頁與去重，再單獨處理反爬與代理。頁面類型一變，腳本就要跟着改。若你希望在 Agent 會話裏用統一方式從 URL 拿到結構化 JSON，而不是先搭一套站點專用爬蟲，可以瞭解 SkillHub 上的社區 Skill x-scrapy（座標 @user_e263a450/x-scrapy，當前版本 1.0.1）。
下面介紹它是什麼、能做什麼，以及如何在 Cursor 等環境中安裝啓用。
這是什麼¶
x-scrapy 在 SkillHub 上的定位是：由發佈者 user_e263a450 提供的、分類爲 data-analysis 的社區來源（community）Skill。官方簡介將其描述爲 XScrapy——一款 AI 驅動的通用爬蟲引擎。
它面向的問題是：在儘量少寫站點定製規則的前提下，從給定 URL 識別頁面類型（如電商、新聞、社交、論壇、文檔等），並抽取標題、正文、價格、評論、圖片等字段，以標準化 JSON 輸出；同時附帶置信度、爬取時間等元數據，便於評估數據質量與合規使用。
Skill 標籤中包含 requires_api_key=true，使用前需按 Skill 包內說明準備相應 API 密鑰（具體變量名與申請方式以安裝後的 SKILL.md 爲準，此處不臆造配置項）。
核心功能¶
以下能力均來自 SkillHub 官方頁面與 API 摘要，未單獨列出的細節不在本文展開。
- 零配置入口：以 URL 爲輸入，自動識別頁面類型，減少爲每類站點單獨寫解析模板的前置成本。
- 結構化抽取：支持標題、正文、價格、評論、圖片等常見字段，輸出統一 JSON。
- 爬取側能力：內置反檢測、代理輪換、分頁處理與去重（具體策略與限制以 Skill 文檔爲準）。
- 多種使用形態：支持 CLI 命令行、Python API，以及快速單頁提取等方式。
- 可選 AI 解析：可選用 AI 模型處理複雜頁面，以提升抽取準確度。
- 元數據：輸出中包含置信度評分、爬取時間等信息，便於下游校驗與審計。
安裝與啓用¶
Skill 遵循通用 SKILL.md 格式，通過 SkillHub CLI 安裝到當前 Agent 的 skills 目錄後，由 Agent 按 Skill 指令調用底層能力。
1、安裝 SkillHub CLI（若尚未安裝）¶
先檢查是否已安裝：
command -v skillhub && skillhub --version
未安裝時，可按 SkillHub 官方安裝文檔執行完整安裝（CLI + 默認 Skill）：
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash
僅需要 CLI 時：
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only
說明見：SkillHub 安裝與優先源配置。
2、安裝 x-scrapy 到 Agent skills 目錄¶
安裝技能時必須使用 --dir 指向當前環境的 skills 目錄，否則默認落在 ./skills/，Agent 可能無法識別。
在 Cursor 中，常用路徑爲：
skillhub install @user_e263a450/x-scrapy --dir ~/.cursor/skills/
其他客戶端路徑（摘自官方安裝文檔，按實際環境選用）：
- Claude Code：
~/.claude/skills/ - Codex：
~/.codex/skills/或項目下的.agents/skills/ - Gemini CLI：
~/.gemini/skills/
安裝完成後，按你所用客戶端的要求重啓或刷新 Agent，使 Skill 生效。
3、通過自然語言讓 AI 代爲安裝（可選）¶
SkillHub 頁面提供的安裝提示詞爲：
請根據 https://skillhub.cn/install/skillhub.md，安裝 `@user_e263a450/x-scrapy`。
可將上述內容發給支持 Skill 安裝的 AI 客戶端，由 Agent 按文檔完成安裝與目錄校驗。
4、API 密鑰¶
因標籤 requires_api_key=true，啓用前請在安裝後的 Skill 說明中配置所需 API Key。未在公開摘要中列出的密鑰名稱或服務端點，請勿自行假設。
典型用法¶
公開資料未提供可逐行復制的 CLI 或 Python 調用示例；實際命令與參數以安裝包內 SKILL.md 及附帶腳本爲準。在 Agent 已加載該 Skill 的前提下，典型工作流可以是：
- 提供目標 URL 與需要關注的字段（如正文、價格、評論列表）。
- 說明是否啓用 AI 解析、是否需要 分頁 或 代理（若 Skill 文檔支持相關選項）。
- 讓 Agent 按 Skill 指引執行抽取，並檢查返回 JSON 中的 置信度 與 爬取時間 等元數據。
若你本地已安裝 CLI 工具鏈，也可在終端按 SKILL.md 中的 CLI 小節操作；Python 集成則參照同文檔中的 Python API 說明。
適用場景與注意¶
適合誰
- 需要在對話或自動化流程中快速從多種頁面類型拉取結構化數據的數據分析、研究或運營同學。
- 希望減少「每個站點一套爬蟲」的維護成本，並接受以 Skill + Agent 爲入口的統一抽取方式。
限制與注意
- 來源爲 community，行爲與合規邊界需結合目標站點的服務條款與 robots 規則自行判斷；Skill 強調元數據與質量信息，並不替代你對用途的合規審查。
- requires_api_key=true：未配置密鑰時功能可能不可用或受限。
- 反檢測、代理輪換等能力的效果取決於目標站與環境，複雜站點仍可能需要人工校驗 JSON 與置信度。
- SkillHub 頁面統計（截至資料抓取）：評分 100000，下載 1797，安裝 67；與個別第三方榜單數字可能不一致，以 SkillHub 爲準。
結尾¶
x-scrapy 把「識別頁面類型 → 抽取多類字段 → JSON + 元數據輸出」收斂爲一個可裝入 Agent 的 Skill，並聲明支持 CLI、Python API 與可選 AI 解析。若你的痛點是通用 URL 抽取而非長期維護站點專用爬蟲，可從官方條目安裝 1.0.1 版本並按 SKILL.md 配置 API Key。
- SkillHub 頁面：https://www.skillhub.cn/skills/user_e263a450/x-scrapy
- API 摘要地址：https://api.skillhub.cn/user_e263a450/x-scrapy
