头条文章阅读:用浏览器自动化抓取多平台正文

前言

做资讯整理、竞品监测或 RAG 素材入库时,常见做法是手写爬虫或复制粘贴。各平台页面结构不同,登录与反爬策略也不一致,维护成本高。下面介绍 SkillHub 上的社区 Skill「头条文章阅读」,它通过浏览器自动化打开链接,把标题、作者、时间与正文抽成结构化内容,并支持清洗与 AI 总结,标签标明 requires_api_key=false,不依赖额外 API Key。

这是什么

「头条文章阅读」是 SkillHub 坐标 @user_09d1a78f/toutiao-article-reade 下的 Agent Skill,版本 1.0.0,来源为 community,分类 data-analysis,由发布者 user_09d1a78f 维护。

官方简介:使用浏览器自动化阅读今日头条、微信公众号、知乎等平台文章;自动提取标题、作者、发布时间、正文内容;支持内容清洗和 AI 总结。

核心功能

依据 SkillHub 页面与抓取元数据,可核实的能力包括:

  1. 多平台阅读:面向今日头条、微信公众号、知乎等链接,用浏览器自动化加载页面,而非仅依赖静态 HTTP 抓取。
  2. 结构化提取:从页面中取出标题、作者、发布时间、正文,便于后续存档、检索或喂给大模型。
  3. 内容清洗:对正文做整理,减少广告、导航等噪声(具体规则以安装后的 SKILL.md 为准)。
  4. AI 总结:在完整正文基础上生成摘要,适合长文速览(需当前 Agent 具备总结能力)。
  5. 无 API Key 要求:标签 requires_api_key=false,安装使用不强制配置第三方密钥。

SkillHub 统计(以抓取资料为准):评分 100000,下载 940,安装 0。

安装与启用

安装前确认本机已有 SkillHub CLI;若没有,可先按官方安装文档检查或安装。

command -v skillhub && skillhub --version

未安装时可执行完整安装(含默认 Skill):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

仅安装 CLI:

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only

将 Skill 装到当前 Agent 能识别的 skills 目录时,必须使用 --dir,否则默认落在 ./skills/,Agent 可能无法加载。SkillHub 页面给出的安装方式为:让 AI 根据 https://skillhub.cn/install/skillhub.md 安装 @user_09d1a78f/toutiao-article-reade;命令行等价写法示例:

skillhub install @user_09d1a78f/toutiao-article-reade --dir <你的 skills 目录>

常用客户端 skills 路径(摘自 SkillHub 安装文档):

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或项目下的 .agents/skills/

安装后按所用客户端要求重启或刷新 Agent,使新 Skill 生效。Cursor、Codex CLI、Claude Code 的差异主要体现在 skills 目录位置;安装命令本身一致,均为 skillhub install 加 --dir。

典型用法

官方页面未提供独立脚本示例;用法遵循通用 Agent Skill 模式:

  1. 完成上一节安装,并确认 Agent 已加载该 Skill。
  2. 在对话中给出待阅读的文章 URL(今日头条、微信公众号或知乎等 Skill 支持的平台)。
  3. 说明任务目标,例如「提取正文并清洗」「在清洗后做简短总结」;Agent 会按 Skill 内指引驱动浏览器自动化并完成提取。
  4. 将输出用于本地笔记、数据分析流水线或后续 prompt,避免在对话中粘贴整页 HTML。

若需核对具体步骤、参数或限制,安装后阅读该 Skill 包内的 SKILL.md 为准。

适用场景与注意

适合:需要批量或反复从上述平台拉正文的研究、编辑、数据分析师;希望减少手写选择器维护、又需要标题与时间等元数据的场景。

注意:

  • 依赖浏览器自动化,运行环境需允许自动化工具访问目标站点;页面改版或风控可能导致偶发失败。
  • 微信公众号等链接可能存在登录或权限限制,公开可访问的链接成功率更高。
  • 社区来源 Skill,升级与行为变更以 SkillHub 上 v1.0.0 及后续版本为准;使用前可在 SkillHub 查看下载量与说明是否更新。
  • 抓取内容请遵守各平台服务条款与著作权要求,仅用于合法授权范围内的个人或内部用途。

结尾

「头条文章阅读」把多平台文章阅读、字段提取、清洗与总结收进一个 Skill,适合在 Agent 工作流里用自然语言驱动,而不是为每个站点单独写爬虫。详情与安装入口:

  • SkillHub 页面:https://www.skillhub.cn/skills/user_09d1a78f/toutiao-article-reade
  • 坐标:@user_09d1a78f/toutiao-article-reade
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜