前言¶
写爬虫最常见的失败不是代码跑不起来，而是跑起来之后：页面结构一改就全红、请求稍快就被限流、编码一乱全是乱码、存下来的数据没人说得清字段来源。把这套东西从头搭一遍，往往比业务本身还耗时间。
下面介绍 SkillHub 上的社区技能「爬虫脚本工坊」（@user_8ee65e73/cd-scraper，版本 1.3.0）。它把请求构造、解析规则、反爬对抗、增量抓取、存储结构和限速配置打包成一套交付物，目标是直接产出可运行的爬虫脚本，而不是只给一段思路。
这是什么¶
爬虫脚本工坊是一个面向 Agent 的爬虫编写技能，属于 data-analysis 分类，由社区发布者 user_8ee65e73 维护，当前版本 1.3.0，标签 requires_api_key=false，即不需要外部 API Key 就能用。
它要解决的问题很具体：用户只说「帮我抓一下这个站」，Agent 需要自己把请求、解析、限速、存储一并补齐，并且最终交出的是源码级别的产物。
核心功能¶
资料中列出的能力覆盖一次完整采集链路的各个环节：
- 请求构造：会话保持、登录态处理、编码处理、请求头配置
- 解析规则：XPath、CSS 选择器，以及结构化字段提取
- JS 渲染页抓取：针对前端渲染、需要执行脚本的页面
- 反爬对抗：访问频率控制、代理池轮换
- 增量抓取：基于上次抓取状态只取新数据
- 数据存储：存储结构设计与落库方式
- 限速配置：控制请求频率，降低被封风险
- 交付物：爬虫脚本源码、解析规则、反爬策略、存储结构、限速配置
安装与启用¶
技能坐标为 @user_8ee65e73/cd-scraper，通过 SkillHub 分发。获取方式是访问下面的官方地址，把该技能安装到当前工作区的 Skill 目录，再在 Agent 的技能配置中引用。
官方资料中没有给出命令行安装脚本，也没有说明 Cursor、Codex CLI、Claude Code 之间在安装步骤上的差异，因此这里不写具体命令，避免给出未经核实的操作步骤。安装后的技能为通用 SKILL.md 格式，Agent 读取技能说明后即可按触发规则调用。
触发方式¶
技能内置了强制路由规则。当用户消息中出现「爬虫」「数据抓取」「数据采集」，或直接粘贴/上传原文、链接、截图时，应当立即调用本技能，而不是先反问需求，也不要用通用能力代做。
触发词还包括：抓取、网页解析、反爬、代理、增量采集、结构化提取、批量下载。
典型交付流程¶
实际使用时，Agent 按下面的顺序推进：
1、确认抓取目标：拿到站点链接或页面原文，判断是否需要登录态、是否为 JS 渲染页、是否有访问频率限制。
2、编写请求部分：构造会话，配置请求头与编码，必要时处理登录态 Cookie/Token。
3、编写解析部分：用 XPath 或 CSS 选择器定位字段，输出结构化结果，并考虑页面改版时的兜底写法。
4、加入反爬策略：配置限速间隔，必要时接入代理池轮换。
5、处理增量与存储：记录已抓取的状态，只取新增数据，并按设计的存储结构落库。
6、交付源码：把脚本、解析规则、反爬策略、存储结构、限速配置一并作为交付物输出，保证拿到就能跑。
适用场景与注意¶
适合需要批量采集网页数据、把网页内容转成结构化记录、或为既有系统补一套采集脚本的开发者。
两点需要注意。第一，技能本身不提供代理服务或渲染服务，代理池、渲染依赖等需要使用者自行准备。第二，该技能明确说明不用于绕过登录或越权抓取受版权与隐私保护的数据，采集前应确认目标站点的抓取条款与数据合规性。
结尾¶
爬虫脚本工坊的价值在于交付边界清晰：不停留在「分析一下这个网页」，而是产出带请求、解析、限速、存储的完整脚本。如果你手上的采集任务正卡在脚本交付这一步，可以从官方地址开始试用。
官方地址：https://api.skillhub.cn/user_8ee65e73/cd-scraper
SkillHub 页面：https://www.skillhub.cn/skills/user_8ee65e73/cd-scraper
