網頁內容抓取器:給 AI 裝一個能讀 JS 頁面的瀏覽器

前言

AI 助手讀網頁時,拿到的往往是一段殘缺的 HTML:單頁應用把正文交給 JS 渲染,登錄牆擋住接口,限速讓請求直接失敗。直接抓回來的文本里沒有正文,只有空殼標籤。

下面介紹的這個 Skill 就是爲了填這個坑。它叫「網頁內容抓取器」(@user_d544ba0e/page-content-scraper),社區出品,解決的是「AI 拿不到乾淨正文」這一件事。

這是什麼

一句話定位:輸入一個 URL,輸出該頁面的乾淨文本,遇到 JS 渲染的頁面自動用無頭瀏覽器渲染後再取。

  • 名稱:網頁內容抓取器
  • 座標:@user_d544ba0e/page-content-scraper
  • 版本:1.0.0
  • 來源:community(社區)
  • 發佈者:user_d544ba0e
  • 分類:data-analysis
  • 評分:100000,下載 760,安裝 0
  • 標籤:requires_api_key=false(不需要 API Key)

和「直接讓模型讀 URL」相比,差別在於它不假設頁面是靜態的:檢測到是 SPA 會先跑一遍無頭瀏覽器,再把渲染後的正文抽出來。

核心功能

  1. 從 AI 無法直接訪問的網頁中提取乾淨文本。典型包括三類:JS 渲染的單頁應用、登錄牆後的頁面、被限速的 API。
  2. 自動檢測 SPA,並用無頭瀏覽器渲染後再抓取。
  3. 輸入是 URL,可附帶可選的 CSS 選擇器,用於只取頁面裏特定的部分。
  4. 輸出是乾淨文本內容,不含導航欄、腳本、樣式等雜質。

觸發詞:抓取、爬取、scrape、提取內容、獲取網頁文字 + URL。也就是說,對話裏出現這類詞並帶上鍊接時,就是它的觸發條件。

安裝與啓用

已抓取的資料裏沒有提供官方安裝命令、Skill 包下載方式或各客戶端的配置步驟。按規則,覈實不到的內容不寫。可以確認的只有兩點:

  • 不需要 API Key(requires_api_key=false),啓用後不存在密鑰配置環節。
  • 它基於通用 SKILL.md 格式,屬於社區發佈的 Skill。

拿到官方地址後,具體的安裝方式需要以 SkillHub 頁面當時的說明爲準。

典型用法

官方資料給出的輸入輸出約定如下:

輸入:URL + 可選 CSS 選擇器
輸出:乾淨文本內容

對應的觸發方式:

TRIGGER: 抓取、爬取、scrape、提取內容、獲取網頁文字
INPUT: 文件路徑或文本內容
OUTPUT: 處理後的文件或分析報告

也就是說,使用方式是把 URL(以及想限定的 CSS 選擇器)作爲輸入交給 Skill,它返回處理後的乾淨文本。資料中沒有給出更細的命令行或腳本級示例,這裏不做補充。

適用場景與注意

適合的場景:

  • 目標頁面是 Vue / React 之類的單頁應用,靜態抓取拿不到正文。
  • 頁面需要登錄後才渲染內容,模型自帶的 URL 讀取拿不到。
  • 想按 CSS 選擇器精確取某一塊區域,而不是整頁文本。
  • 不需要爲抓取額外申請 API Key。

需要注意的點:

  • 它解決的是「拿到正文」,不解決「繞過登錄牆獲取憑證」。登錄牆後的頁面能取,前提是會話本身可用。
  • 被限速的 API 場景下,渲染和抓取仍然受目標站點的限速約束,Skill 不會繞過站點限制。
  • 無頭瀏覽器渲染比直接請求慢,批量抓大量頁面時要做好超時和併發控制。
  • 安裝數爲 0、來自社區,選用前建議先在小範圍頁面上試一次,確認輸出格式符合預期。

結尾

這個 Skill 的價值在於把「渲染—抽取—清洗」這一套動作封裝起來,讓 AI 在拿到 URL 之後能直接得到可用的正文,而不用關心頁面是不是 JS 渲染的。它不需要 API Key,輸入輸出約定簡單,適合嵌在內容採集、資料整理這類流程裏。

官方地址:https://api.skillhub.cn/user_d544ba0e/page-content-scraper
SkillHub 頁面:https://www.skillhub.cn/skills/user_d544ba0e/page-content-scraper

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜