頭條文章閱讀:用瀏覽器自動化抓取多平臺正文

前言

做資訊整理、競品監測或 RAG 素材入庫時,常見做法是手寫爬蟲或複製粘貼。各平臺頁面結構不同,登錄與反爬策略也不一致,維護成本高。下面介紹 SkillHub 上的社區 Skill「頭條文章閱讀」,它通過瀏覽器自動化打開鏈接,把標題、作者、時間與正文抽成結構化內容,並支持清洗與 AI 總結,標籤標明 requires_api_key=false,不依賴額外 API Key。

這是什麼

「頭條文章閱讀」是 SkillHub 座標 @user_09d1a78f/toutiao-article-reade 下的 Agent Skill,版本 1.0.0,來源爲 community,分類 data-analysis,由發佈者 user_09d1a78f 維護。

官方簡介:使用瀏覽器自動化閱讀今日頭條、微信公衆號、知乎等平臺文章;自動提取標題、作者、發佈時間、正文內容;支持內容清洗和 AI 總結。

核心功能

依據 SkillHub 頁面與抓取元數據,可覈實的能力包括:

  1. 多平臺閱讀:面向今日頭條、微信公衆號、知乎等鏈接,用瀏覽器自動化加載頁面,而非僅依賴靜態 HTTP 抓取。
  2. 結構化提取:從頁面中取出標題、作者、發佈時間、正文,便於後續存檔、檢索或餵給大模型。
  3. 內容清洗:對正文做整理,減少廣告、導航等噪聲(具體規則以安裝後的 SKILL.md 爲準)。
  4. AI 總結:在完整正文基礎上生成摘要,適合長文速覽(需當前 Agent 具備總結能力)。
  5. 無 API Key 要求:標籤 requires_api_key=false,安裝使用不強制配置第三方密鑰。

SkillHub 統計(以抓取資料爲準):評分 100000,下載 940,安裝 0。

安裝與啓用

安裝前確認本機已有 SkillHub CLI;若沒有,可先按官方安裝文檔檢查或安裝。

command -v skillhub && skillhub --version

未安裝時可執行完整安裝(含默認 Skill):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

僅安裝 CLI:

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only

將 Skill 裝到當前 Agent 能識別的 skills 目錄時,必須使用 --dir,否則默認落在 ./skills/,Agent 可能無法加載。SkillHub 頁面給出的安裝方式爲:讓 AI 根據 https://skillhub.cn/install/skillhub.md 安裝 @user_09d1a78f/toutiao-article-reade;命令行等價寫法示例:

skillhub install @user_09d1a78f/toutiao-article-reade --dir <你的 skills 目錄>

常用客戶端 skills 路徑(摘自 SkillHub 安裝文檔):

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或項目下的 .agents/skills/

安裝後按所用客戶端要求重啓或刷新 Agent,使新 Skill 生效。Cursor、Codex CLI、Claude Code 的差異主要體現在 skills 目錄位置;安裝命令本身一致,均爲 skillhub install 加 --dir。

典型用法

官方頁面未提供獨立腳本示例;用法遵循通用 Agent Skill 模式:

  1. 完成上一節安裝,並確認 Agent 已加載該 Skill。
  2. 在對話中給出待閱讀的文章 URL(今日頭條、微信公衆號或知乎等 Skill 支持的平臺)。
  3. 說明任務目標,例如「提取正文並清洗」「在清洗後做簡短總結」;Agent 會按 Skill 內指引驅動瀏覽器自動化並完成提取。
  4. 將輸出用於本地筆記、數據分析流水線或後續 prompt,避免在對話中粘貼整頁 HTML。

若需覈對具體步驟、參數或限制,安裝後閱讀該 Skill 包內的 SKILL.md 爲準。

適用場景與注意

適合:需要批量或反覆從上述平臺拉正文的研究、編輯、數據分析師;希望減少手寫選擇器維護、又需要標題與時間等元數據的場景。

注意:

  • 依賴瀏覽器自動化,運行環境需允許自動化工具訪問目標站點;頁面改版或風控可能導致偶發失敗。
  • 微信公衆號等鏈接可能存在登錄或權限限制,公開可訪問的鏈接成功率更高。
  • 社區來源 Skill,升級與行爲變更以 SkillHub 上 v1.0.0 及後續版本爲準;使用前可在 SkillHub 查看下載量與說明是否更新。
  • 抓取內容請遵守各平臺服務條款與著作權要求,僅用於合法授權範圍內的個人或內部用途。

結尾

「頭條文章閱讀」把多平臺文章閱讀、字段提取、清洗與總結收進一個 Skill,適合在 Agent 工作流裏用自然語言驅動,而不是爲每個站點單獨寫爬蟲。詳情與安裝入口:

  • SkillHub 頁面:https://www.skillhub.cn/skills/user_09d1a78f/toutiao-article-reade
  • 座標:@user_09d1a78f/toutiao-article-reade
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜