前言¶
做数据采集时，常见路径是为每个站点写选择器、维护分页与去重，再单独处理反爬与代理。页面类型一变，脚本就要跟着改。若你希望在 Agent 会话里用统一方式从 URL 拿到结构化 JSON，而不是先搭一套站点专用爬虫，可以了解 SkillHub 上的社区 Skill x-scrapy（坐标 @user_e263a450/x-scrapy，当前版本 1.0.1）。
下面介绍它是什么、能做什么，以及如何在 Cursor 等环境中安装启用。
这是什么¶
x-scrapy 在 SkillHub 上的定位是：由发布者 user_e263a450 提供的、分类为 data-analysis 的社区来源（community）Skill。官方简介将其描述为 XScrapy——一款 AI 驱动的通用爬虫引擎。
它面向的问题是：在尽量少写站点定制规则的前提下，从给定 URL 识别页面类型（如电商、新闻、社交、论坛、文档等），并抽取标题、正文、价格、评论、图片等字段，以标准化 JSON 输出；同时附带置信度、爬取时间等元数据，便于评估数据质量与合规使用。
Skill 标签中包含 requires_api_key=true，使用前需按 Skill 包内说明准备相应 API 密钥（具体变量名与申请方式以安装后的 SKILL.md 为准，此处不臆造配置项）。
核心功能¶
以下能力均来自 SkillHub 官方页面与 API 摘要，未单独列出的细节不在本文展开。
- 零配置入口：以 URL 为输入，自动识别页面类型，减少为每类站点单独写解析模板的前置成本。
- 结构化抽取：支持标题、正文、价格、评论、图片等常见字段，输出统一 JSON。
- 爬取侧能力：内置反检测、代理轮换、分页处理与去重（具体策略与限制以 Skill 文档为准）。
- 多种使用形态：支持 CLI 命令行、Python API，以及快速单页提取等方式。
- 可选 AI 解析：可选用 AI 模型处理复杂页面，以提升抽取准确度。
- 元数据：输出中包含置信度评分、爬取时间等信息，便于下游校验与审计。
安装与启用¶
Skill 遵循通用 SKILL.md 格式，通过 SkillHub CLI 安装到当前 Agent 的 skills 目录后，由 Agent 按 Skill 指令调用底层能力。
1、安装 SkillHub CLI（若尚未安装）¶
先检查是否已安装：
command -v skillhub && skillhub --version
未安装时，可按 SkillHub 官方安装文档执行完整安装（CLI + 默认 Skill）：
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash
仅需要 CLI 时：
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only
说明见：SkillHub 安装与优先源配置。
2、安装 x-scrapy 到 Agent skills 目录¶
安装技能时必须使用 --dir 指向当前环境的 skills 目录，否则默认落在 ./skills/，Agent 可能无法识别。
在 Cursor 中，常用路径为：
skillhub install @user_e263a450/x-scrapy --dir ~/.cursor/skills/
其他客户端路径（摘自官方安装文档，按实际环境选用）：
- Claude Code：
~/.claude/skills/ - Codex：
~/.codex/skills/或项目下的.agents/skills/ - Gemini CLI：
~/.gemini/skills/
安装完成后，按你所用客户端的要求重启或刷新 Agent，使 Skill 生效。
3、通过自然语言让 AI 代为安装（可选）¶
SkillHub 页面提供的安装提示词为：
请根据 https://skillhub.cn/install/skillhub.md，安装 `@user_e263a450/x-scrapy`。
可将上述内容发给支持 Skill 安装的 AI 客户端，由 Agent 按文档完成安装与目录校验。
4、API 密钥¶
因标签 requires_api_key=true，启用前请在安装后的 Skill 说明中配置所需 API Key。未在公开摘要中列出的密钥名称或服务端点，请勿自行假设。
典型用法¶
公开资料未提供可逐行复制的 CLI 或 Python 调用示例；实际命令与参数以安装包内 SKILL.md 及附带脚本为准。在 Agent 已加载该 Skill 的前提下，典型工作流可以是：
- 提供目标 URL 与需要关注的字段（如正文、价格、评论列表）。
- 说明是否启用 AI 解析、是否需要 分页 或 代理（若 Skill 文档支持相关选项）。
- 让 Agent 按 Skill 指引执行抽取，并检查返回 JSON 中的 置信度 与 爬取时间 等元数据。
若你本地已安装 CLI 工具链，也可在终端按 SKILL.md 中的 CLI 小节操作；Python 集成则参照同文档中的 Python API 说明。
适用场景与注意¶
适合谁
- 需要在对话或自动化流程中快速从多种页面类型拉取结构化数据的数据分析、研究或运营同学。
- 希望减少「每个站点一套爬虫」的维护成本，并接受以 Skill + Agent 为入口的统一抽取方式。
限制与注意
- 来源为 community，行为与合规边界需结合目标站点的服务条款与 robots 规则自行判断；Skill 强调元数据与质量信息，并不替代你对用途的合规审查。
- requires_api_key=true：未配置密钥时功能可能不可用或受限。
- 反检测、代理轮换等能力的效果取决于目标站与环境，复杂站点仍可能需要人工校验 JSON 与置信度。
- SkillHub 页面统计（截至资料抓取）：评分 100000，下载 1797，安装 67；与个别第三方榜单数字可能不一致，以 SkillHub 为准。
结尾¶
x-scrapy 把「识别页面类型 → 抽取多类字段 → JSON + 元数据输出」收敛为一个可装入 Agent 的 Skill，并声明支持 CLI、Python API 与可选 AI 解析。若你的痛点是通用 URL 抽取而非长期维护站点专用爬虫，可从官方条目安装 1.0.1 版本并按 SKILL.md 配置 API Key。
- SkillHub 页面：https://www.skillhub.cn/skills/user_e263a450/x-scrapy
- API 摘要地址：https://api.skillhub.cn/user_e263a450/x-scrapy
