前言¶
AI 助手讀網頁時,拿到的往往是一段殘缺的 HTML:單頁應用把正文交給 JS 渲染,登錄牆擋住接口,限速讓請求直接失敗。直接抓回來的文本里沒有正文,只有空殼標籤。
下面介紹的這個 Skill 就是爲了填這個坑。它叫「網頁內容抓取器」(@user_d544ba0e/page-content-scraper),社區出品,解決的是「AI 拿不到乾淨正文」這一件事。
這是什麼¶
一句話定位:輸入一個 URL,輸出該頁面的乾淨文本,遇到 JS 渲染的頁面自動用無頭瀏覽器渲染後再取。
- 名稱:網頁內容抓取器
- 座標:@user_d544ba0e/page-content-scraper
- 版本:1.0.0
- 來源:community(社區)
- 發佈者:user_d544ba0e
- 分類:data-analysis
- 評分:100000,下載 760,安裝 0
- 標籤:requires_api_key=false(不需要 API Key)
和「直接讓模型讀 URL」相比,差別在於它不假設頁面是靜態的:檢測到是 SPA 會先跑一遍無頭瀏覽器,再把渲染後的正文抽出來。
核心功能¶
- 從 AI 無法直接訪問的網頁中提取乾淨文本。典型包括三類:JS 渲染的單頁應用、登錄牆後的頁面、被限速的 API。
- 自動檢測 SPA,並用無頭瀏覽器渲染後再抓取。
- 輸入是 URL,可附帶可選的 CSS 選擇器,用於只取頁面裏特定的部分。
- 輸出是乾淨文本內容,不含導航欄、腳本、樣式等雜質。
觸發詞:抓取、爬取、scrape、提取內容、獲取網頁文字 + URL。也就是說,對話裏出現這類詞並帶上鍊接時,就是它的觸發條件。
安裝與啓用¶
已抓取的資料裏沒有提供官方安裝命令、Skill 包下載方式或各客戶端的配置步驟。按規則,覈實不到的內容不寫。可以確認的只有兩點:
- 不需要 API Key(requires_api_key=false),啓用後不存在密鑰配置環節。
- 它基於通用 SKILL.md 格式,屬於社區發佈的 Skill。
拿到官方地址後,具體的安裝方式需要以 SkillHub 頁面當時的說明爲準。
典型用法¶
官方資料給出的輸入輸出約定如下:
輸入:URL + 可選 CSS 選擇器
輸出:乾淨文本內容
對應的觸發方式:
TRIGGER: 抓取、爬取、scrape、提取內容、獲取網頁文字
INPUT: 文件路徑或文本內容
OUTPUT: 處理後的文件或分析報告
也就是說,使用方式是把 URL(以及想限定的 CSS 選擇器)作爲輸入交給 Skill,它返回處理後的乾淨文本。資料中沒有給出更細的命令行或腳本級示例,這裏不做補充。
適用場景與注意¶
適合的場景:
- 目標頁面是 Vue / React 之類的單頁應用,靜態抓取拿不到正文。
- 頁面需要登錄後才渲染內容,模型自帶的 URL 讀取拿不到。
- 想按 CSS 選擇器精確取某一塊區域,而不是整頁文本。
- 不需要爲抓取額外申請 API Key。
需要注意的點:
- 它解決的是「拿到正文」,不解決「繞過登錄牆獲取憑證」。登錄牆後的頁面能取,前提是會話本身可用。
- 被限速的 API 場景下,渲染和抓取仍然受目標站點的限速約束,Skill 不會繞過站點限制。
- 無頭瀏覽器渲染比直接請求慢,批量抓大量頁面時要做好超時和併發控制。
- 安裝數爲 0、來自社區,選用前建議先在小範圍頁面上試一次,確認輸出格式符合預期。
結尾¶
這個 Skill 的價值在於把「渲染—抽取—清洗」這一套動作封裝起來,讓 AI 在拿到 URL 之後能直接得到可用的正文,而不用關心頁面是不是 JS 渲染的。它不需要 API Key,輸入輸出約定簡單,適合嵌在內容採集、資料整理這類流程裏。
官方地址:https://api.skillhub.cn/user_d544ba0e/page-content-scraper
SkillHub 頁面:https://www.skillhub.cn/skills/user_d544ba0e/page-content-scraper