News To Markdown:把文章 URL 转成干净 Markdown 正文

前言

做资讯汇总、竞品跟踪或知识库入库时,常见做法是复制网页 HTML,再手工删广告和样式。国内站点(微信公众号、头条、知乎等)正文往往嵌在复杂 DOM 或反爬策略里,通用抓取脚本容易拿到导航栏、评论区和残缺段落。

下面介绍 SkillHub 上的 News To Markdown(@user_2c495456/news-to-markdown)。它面向「单篇 URL → 可读 Markdown」这一环节,可与搜索类 Skill 串联成「先搜链接、再逐篇读正文」的流程。

这是什么

News To Markdown 是社区来源(community)的 Agent Skill,当前版本 3.1.6,分类为 data-analysis,由发布者 user_2c495456 维护。SkillHub 页面标注 requires_api_key=false,即按官方说明安装后无需额外 API Key。

一句话定位:输入文章 URL,输出干净的 Markdown 正文。

核心功能

以下能力均来自 SkillHub 官方简介,未在页面上展开实现细节的部分不臆测。

  1. 多平台正文优化
    针对 17 个平台做专项处理,页面列举的平台包括:头条、微信公众号、知乎、36kr、虎嗅、华尔街见闻、澎湃、InfoQ 等。

  2. 双引擎提取
    官方描述为「双引擎提取」,用于在不同页面结构下尽量稳定拿到正文;具体引擎名称与切换逻辑以 Skill 包内说明为准。

  3. 图片本地化
    输出 Markdown 时可将文中图片做本地化处理,便于离线阅读或后续归档(具体目录与命名规则以安装后的 Skill 文档为准)。

  4. 三层抓取策略
    官方称采用「三层抓取策略」,用于应对部分站点的访问限制或页面加载方式;层级定义见 Skill 自身文档。

  5. 与 browser-web-search 配合
    典型组合是:先用 browser-web-search(文中简称 bws)搜索得到 URL 列表,再对每条 URL 调用本 Skill 读取正文,避免在 Agent 里手写站点适配脚本。

安装与启用

SkillHub 推荐两种方式:让 AI 按安装文档操作,或使用 skillhub CLI 装到当前 Agent 的 skills 目录。

方式一:提示词安装(官方页面原文)

将下面提示发给已接入 Skill 的 AI 客户端:

请根据 https://skillhub.cn/install/skillhub.md,安装 `@user_2c495456/news-to-markdown`。

方式二:CLI 安装

先确认本机是否已有 skillhub:

command -v skillhub && skillhub --version

未安装时,可按 SkillHub 安装文档执行完整安装(文档中的推荐命令):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安装本 Skill 时,必须用 --dir 指向当前 Agent 识别的 skills 目录;文档说明默认装到 ./skills/ 可能不会被客户端加载。示例:

skillhub install user_2c495456/news-to-markdown --dir <skills 目录>

常见路径(来自 SkillHub 安装文档):

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或项目下的 .agents/skills/

安装后按你所用客户端的要求刷新或重启,使 Skill 生效。Cursor、Codex CLI、Claude Code 的差异主要体现在 skills 目录位置,安装命令中的坐标与 --dir 原则相同。

典型用法

官方未在 SkillHub 详情页给出独立 CLI 子命令示例,用法应理解为:在已启用该 Skill 的 Agent 会话中提供可访问的文章 URL,由 Agent 按 Skill 指引调用提取逻辑并返回 Markdown。

可复现的工作流如下:

  1. 若尚未有目标链接,先启用 browser-web-search,用自然语言或关键词让 Agent 搜索,得到若干文章 URL。
  2. 对每一个 URL,在同一 Agent 中请求「用 News To Markdown 抓取正文并输出 Markdown」;Agent 应依据 @user_2c495456/news-to-markdown 中的步骤处理。
  3. 将返回的 Markdown 保存到本地文件、写入笔记库,或作为下游分析(摘要、对比、入库)的输入。

单篇场景下,也可直接给出 URL,跳过搜索步骤。

适用场景与注意

适合谁

  • 需要把中文资讯站点文章转成 Markdown 的开发者或分析同学。
  • 已在用 Agent + Skill 做检索与阅读流水线,希望减少手写爬虫的人。
  • 不希望为本文抓取单独申请第三方 API Key 的场景(官方标签为 requires_api_key=false)。

限制与注意

  • 正文质量依赖目标 URL 是否可访问、平台是否在官方列举的优化范围内;未列出的站点可能仍可用通用逻辑,但效果未在简介中承诺。
  • 反爬、登录墙、付费墙等站点,三层策略能否绕过取决于站点策略,需以实际抓取结果为准。
  • SkillHub 统计(截至页面展示):评分 100000,下载 990,安装 27;社区 Skill 的维护节奏以发布者为准,升级前可在 SkillHub 查看版本号是否仍为 3.1.6。
  • 与 bws 配合时,搜索结果的合规性与版权仍需使用者自行把握;本 Skill 只负责 URL → Markdown 的转换环节。

结尾

经过上面的步骤,News To Markdown 把「读一篇网页」收敛成「给一个链接、拿一份干净 Markdown」,并针对国内常见资讯平台做了优化说明。若你正在搭 Agent 资讯流水线,可把它接在搜索 Skill 之后,专门处理正文抽取。

  • SkillHub 页面:https://www.skillhub.cn/skills/user_2c495456/news-to-markdown
  • API 坐标页:https://api.skillhub.cn/user_2c495456/news-to-markdown
  • 安装说明:https://skillhub.cn/install/skillhub.md
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye