News To Markdown:把文章 URL 轉成乾淨 Markdown 正文

前言

做資訊彙總、競品跟蹤或知識庫入庫時,常見做法是複製網頁 HTML,再手工刪廣告和樣式。國內站點(微信公衆號、頭條、知乎等)正文往往嵌在複雜 DOM 或反爬策略裏,通用抓取腳本容易拿到導航欄、評論區和殘缺段落。

下面介紹 SkillHub 上的 News To Markdown(@user_2c495456/news-to-markdown)。它面向「單篇 URL → 可讀 Markdown」這一環節,可與搜索類 Skill 串聯成「先搜鏈接、再逐篇讀正文」的流程。

這是什麼

News To Markdown 是社區來源(community)的 Agent Skill,當前版本 3.1.6,分類爲 data-analysis,由發佈者 user_2c495456 維護。SkillHub 頁面標註 requires_api_key=false,即按官方說明安裝後無需額外 API Key。

一句話定位:輸入文章 URL,輸出乾淨的 Markdown 正文。

核心功能

以下能力均來自 SkillHub 官方簡介,未在頁面上展開實現細節的部分不臆測。

  1. 多平臺正文優化
    針對 17 個平臺做專項處理,頁面列舉的平臺包括:頭條、微信公衆號、知乎、36kr、虎嗅、華爾街見聞、澎湃、InfoQ 等。

  2. 雙引擎提取
    官方描述爲「雙引擎提取」,用於在不同頁面結構下儘量穩定拿到正文;具體引擎名稱與切換邏輯以 Skill 包內說明爲準。

  3. 圖片本地化
    輸出 Markdown 時可將文中圖片做本地化處理,便於離線閱讀或後續歸檔(具體目錄與命名規則以安裝後的 Skill 文檔爲準)。

  4. 三層抓取策略
    官方稱採用「三層抓取策略」,用於應對部分站點的訪問限制或頁面加載方式;層級定義見 Skill 自身文檔。

  5. 與 browser-web-search 配合
    典型組合是:先用 browser-web-search(文中簡稱 bws)搜索得到 URL 列表,再對每條 URL 調用本 Skill 讀取正文,避免在 Agent 裏手寫站點適配腳本。

安裝與啓用

SkillHub 推薦兩種方式:讓 AI 按安裝文檔操作,或使用 skillhub CLI 裝到當前 Agent 的 skills 目錄。

方式一:提示詞安裝(官方頁面原文)

將下面提示發給已接入 Skill 的 AI 客戶端:

請根據 https://skillhub.cn/install/skillhub.md,安裝 `@user_2c495456/news-to-markdown`。

方式二:CLI 安裝

先確認本機是否已有 skillhub:

command -v skillhub && skillhub --version

未安裝時,可按 SkillHub 安裝文檔執行完整安裝(文檔中的推薦命令):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安裝本 Skill 時,必須用 --dir 指向當前 Agent 識別的 skills 目錄;文檔說明默認裝到 ./skills/ 可能不會被客戶端加載。示例:

skillhub install user_2c495456/news-to-markdown --dir <skills 目錄>

常見路徑(來自 SkillHub 安裝文檔):

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或項目下的 .agents/skills/

安裝後按你所用客戶端的要求刷新或重啓,使 Skill 生效。Cursor、Codex CLI、Claude Code 的差異主要體現在 skills 目錄位置,安裝命令中的座標與 --dir 原則相同。

典型用法

官方未在 SkillHub 詳情頁給出獨立 CLI 子命令示例,用法應理解爲:在已啓用該 Skill 的 Agent 會話中提供可訪問的文章 URL,由 Agent 按 Skill 指引調用提取邏輯並返回 Markdown。

可復現的工作流如下:

  1. 若尚未有目標鏈接,先啓用 browser-web-search,用自然語言或關鍵詞讓 Agent 搜索,得到若干文章 URL。
  2. 對每一個 URL,在同一 Agent 中請求「用 News To Markdown 抓取正文並輸出 Markdown」;Agent 應依據 @user_2c495456/news-to-markdown 中的步驟處理。
  3. 將返回的 Markdown 保存到本地文件、寫入筆記庫,或作爲下游分析(摘要、對比、入庫)的輸入。

單篇場景下,也可直接給出 URL,跳過搜索步驟。

適用場景與注意

適合誰

  • 需要把中文資訊站點文章轉成 Markdown 的開發者或分析同學。
  • 已在用 Agent + Skill 做檢索與閱讀流水線,希望減少手寫爬蟲的人。
  • 不希望爲本文抓取單獨申請第三方 API Key 的場景(官方標籤爲 requires_api_key=false)。

限制與注意

  • 正文質量依賴目標 URL 是否可訪問、平臺是否在官方列舉的優化範圍內;未列出的站點可能仍可用通用邏輯,但效果未在簡介中承諾。
  • 反爬、登錄牆、付費牆等站點,三層策略能否繞過取決於站點策略,需以實際抓取結果爲準。
  • SkillHub 統計(截至頁面展示):評分 100000,下載 990,安裝 27;社區 Skill 的維護節奏以發佈者爲準,升級前可在 SkillHub 查看版本號是否仍爲 3.1.6。
  • 與 bws 配合時,搜索結果的合規性與版權仍需使用者自行把握;本 Skill 只負責 URL → Markdown 的轉換環節。

結尾

經過上面的步驟,News To Markdown 把「讀一篇網頁」收斂成「給一個鏈接、拿一份乾淨 Markdown」,並針對國內常見資訊平臺做了優化說明。若你正在搭 Agent 資訊流水線,可把它接在搜索 Skill 之後,專門處理正文抽取。

  • SkillHub 頁面:https://www.skillhub.cn/skills/user_2c495456/news-to-markdown
  • API 座標頁:https://api.skillhub.cn/user_2c495456/news-to-markdown
  • 安裝說明:https://skillhub.cn/install/skillhub.md
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜