前言¶
做行业研究或政策跟踪时，往往需要把分散在部委官网、央媒与新闻门户上的文章先收拢到本地，再交给模型做摘要或入库。手工检索、逐站收藏成本高，也容易漏掉新发文。通用搜索能补一部分缺口，但对「指定来源 + 关键词过滤 + 去重落盘」这类流水线，往往还要自己写脚本维护。
下面介绍 SkillHub 社区 Skill「文章获取爬虫」（@user_6ed3129a/capoocat，v1.0.0）。它把面向中国政府与新闻网站的抓取逻辑、关键词筛选和本地目录结构写进 SKILL.md 与 crawler_skill.py，让 Agent 在对话里按场景触发采集，也支持在装好依赖后直接跑脚本。
这是什么¶
「文章获取爬虫」是发布者 CAPOOCAT（SkillHub 账号 user_6ed3129a）提交的社区 Skill，分类为 data-analysis，子类为网页抓取；标签 requires_api_key=false，无需额外 API Key。
官方简介（英文，与 SkillHub 页面一致）：
Crawls Chinese government and news websites for AI, digitalization, and informatization articles. Invoke when user needs to collect articles about artificial intelligence, digital transformation, or technology policy from Chinese official sources.
Skill 包内 name 字段为 web-crawler，对外展示名为「文章获取爬虫」。当前仅 1.0.0 一个版本；SkillHub 页面统计（截至页面展示）为下载约 2252 次、安装 39 次。
- SkillHub 页面：https://www.skillhub.cn/skills/user_6ed3129a/capoocat
- API 坐标页：https://api.skillhub.cn/user_6ed3129a/capoocat
核心功能¶
依据 Skill 包内的 SKILL.md、README.md 与 crawler_skill.py，已核实能力如下。
多来源抓取¶
政务站点（SKILL.md 列举，脚本默认启用子集）包括国家能源局、工业和信息化部、国家互联网信息办公室、国家发展改革委、四川省经济和信息化厅、国家信息化专家咨询委员会等域名。
新闻站点包括新华网、人民网、央视新闻、观察者网、澎湃新闻等。crawler_skill.py 的 run() 方法当前默认轮询：国家能源局、工业和信息化部、新华网、澎湃新闻，并对各源设置不同的单次抓取上限。
关键词包含与排除¶
包含侧覆盖「人工智能、数字化、信息化、智能化、AI、算法、大数据、云计算、数字经济、数字转型」等中英混合词。
排除侧过滤采购招标、公示公告、处罚认定等与政策资讯无关的公文类标题，减少噪声。
落盘与去重¶
运行后在工作目录生成：
original_articles/：正文article_links/：链接与元数据ai_summaries/：摘要目录（Skill 文档中说明；是否写入取决于后续流程）crawled_links.json：已爬 URL，用于跳过重复
脚本带 HTTP 重试、发布日期解析、按序号增量保存；if __name__ == "__main__" 入口默认 target_count=10。
Agent 触发条件¶
当用户需要从中国官方或主流媒体来源收集人工智能、数字化转型、科技信息化政策类文章时，按 SKILL.md 描述由 Agent 加载该 Skill 并执行采集流程（具体步骤由 Agent 读取 Skill 指令后决定）。
安装与启用¶
方式一：SkillHub CLI（推荐）¶
先按 SkillHub 安装说明 检查或安装 skillhub CLI。安装 Skill 时必须用 --dir 指向当前 Agent 的 skills 目录，否则默认落在 ./skills/ 可能不会被识别。
command -v skillhub && skillhub --version
未安装 CLI 时，可用官方脚本（完整安装含默认 Skill）：
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash
安装本 Skill 到对应目录，例如 Cursor：
skillhub install @user_6ed3129a/capoocat --dir ~/.cursor/skills/
其他客户端常见路径（摘自同一安装文档）：Claude Code ~/.claude/skills/；Codex ~/.codex/skills/ 或项目下 .agents/skills/。装好后按各客户端要求重启或刷新 Agent，使 Skill 生效。
方式二：页面提示词或 Zip¶
SkillHub 详情页提供的安装提示为：根据 https://skillhub.cn/install/skillhub.md，安装 @user_6ed3129a/capoocat。也可下载 Zip：
https://api.skillhub.cn/api/v1/download?slug=@user_6ed3129a/capoocat
解压后将整个 Skill 目录放入上述 skills 路径即可。
Python 依赖¶
Skill 文档声明依赖 requests、beautifulsoup4、lxml。包内未附带 requirements.txt，需自行安装：
pip install requests beautifulsoup4 lxml
典型用法¶
在 Agent 对话中¶
按官方 description，在需要采集中国政务或新闻来源的 AI / 数字化 / 科技政策文章时，可直接说明意图，例如：
请使用文章获取爬虫 Skill，从工信部和新华网抓取最近与「人工智能」「数字化」相关的文章，保存到当前项目目录。
Agent 加载 @user_6ed3129a/capoocat 后，应依据 SKILL.md 调用 crawler_skill.py 或按 Skill 内步骤组织输出。
直接运行脚本¶
进入 Skill 安装目录后执行（路径以你 --dir 下的实际位置为准；README.md 中 Trae 示例为 .trae/skills/web-crawler/crawler_skill.py）：
python crawler_skill.py
默认抓取 10 篇并打印进度；完成后终端会提示 original_articles/ 与 article_links/ 路径。若要改来源或关键词，按 README.md 修改 run() 内 sources 列表，或调整类中的 keywords / exclude_keywords。
适用场景与注意¶
适合：政策与行业研究员、需要定期归档部委与央媒 AI/数字化报道的团队；希望把「多站抓取 + 关键词过滤 + 本地 JSON 去重」交给 Agent 统一调度的开发者。
限制与注意：
- 合规与站点规则：目标站点多为主流媒体与政务网站，请遵守各站 robots 与服务条款，控制频率；脚本使用固定
User-Agent与重试，生产环境宜再加限速与异常监控。 - 文档与文件名：
SKILL.md示例命令为python gov_crawler.py，但 v1.0.0 包内实际入口为crawler_skill.py，以包内文件为准。 - 来源列表不一致：
SKILL.md列出的站点多于crawler_skill.py默认sources，扩展来源需改代码。 - 无 API Key：
requires_api_key=false，但运行环境仍需可访问外网及 Python 依赖。 - SkillHub 概述为空：页面
overviewMd无额外长文，细节以 Zip 内三文件为准。
SkillHub 安全扫描结果在详情页展示为「安全，无风险」（Keen、叁步等报告链接见页面 JSON），安装前仍建议自行审阅 crawler_skill.py 网络请求逻辑。
结尾¶
「文章获取爬虫」把政务与新闻站点的 AI、数字化、信息化资讯采集流程封装成可安装的 Agent Skill：关键词过滤、去重与目录结构在包内写清，既可对话触发，也可 python crawler_skill.py 直接跑。需要安装或查看版本时，打开 SkillHub 详情页：https://www.skillhub.cn/skills/user_6ed3129a/capoocat 。
