前言¶
給模型接工具時,第一步通常是讓它“讀網頁”。直接把 HTML 丟進上下文有兩個問題:頁面裏夾着腳本、樣式和導航噪聲,token 燒得快;表格、價格、正文結構混在一起,模型也很難穩定抽取。
這類需求的本質是“先解析、再交給模型”,而不是“讓模型硬讀原始 HTML”。網頁抓取MCP服務器把網頁獲取、結構化提取、格式轉換等 26 個 MCP 工具打包成一個 Skill,模型調用工具拿到的是解析後的結果,而不是一整頁標籤。
這是什麼¶
網頁抓取MCP服務器是一個社區來源的 MCP Skill,座標 @user_053d27d0/mcp-web-scraper-zx,當前版本 1.0.1,發佈者爲 user_053d27d0,託管在 SkillHub 上,SkillHub 分類爲 data-analysis。
它解決的是網頁數據進入模型前的處理環節:請求頁面、識別正文、抽取表格與鏈接、把 HTML 轉成結構化文本。
該 Skill 的標籤爲 requires_api_key=false,說明按官方說明不需要額外配置 API key 即可使用。
核心功能¶
官方簡介列出了 26 個 MCP 工具,覆蓋的能力可以分成三類。
- 取回內容:網頁獲取、JSON API 調用、文件下載。
- 定位與抽取:HTML 表格解析、鏈接提取、CSS 選擇器、XPath。
- 轉換與場景化提取:HTML 轉 Markdown、新聞文章提取、商品信息提取。
前一類解決“拿到原始響應”,中間一類解決“在文檔裏精確定位節點”,後一類解決“輸出可直接用的格式”。新聞文章提取和商品信息提取是其中針對性最強的兩個:前者偏向正文與標題,後者偏向價格、名稱等字段。
工具的具體名稱和參數以官方頁面爲準,本文不逐一臆造。
安裝與啓用¶
SkillHub 上的安裝入口有兩個,取其一即可:
SkillHub 頁面: https://www.skillhub.cn/skills/user_053d27d0/mcp-web-scraper-zx
接口地址: https://api.skillhub.cn/user_053d27d0/mcp-web-scraper-zx
配置 Skill 時需要填寫的字段來自官方元數據:
name: mcp-web-scraper-zx
coord: @user_053d27d0/mcp-web-scraper-zx
version: 1.0.1
source: community
category: data-analysis
api_key: 不需要(requires_api_key=false)
幾點說明:
- 這是社區來源(
source: community)的 Skill,不是官方維護的上游倉庫,升級節奏取決於發佈者。 - 元數據裏
安裝計數爲 0、下載爲 895,說明當前使用面還比較小,遇到問題可能缺少現成答案。 - 不同宿主(Cursor、Codex CLI、Claude Code)對 MCP 服務的配置方式本身有差異,請以所用宿主的 MCP 配置文檔爲準,本文未覈實到該 Skill 針對某個宿主的專用說明。
典型用法¶
官方簡介給出的能力可以拆成下面的調用序列,順序上先取回、再解析、最後轉換。
1. 網頁獲取 / JSON API / 文件下載 拿到原始響應
2. CSS 選擇器 / XPath 定位目標節點
3. HTML 表格解析 / 鏈接提取 結構化抽取
4. HTML 轉 Markdown / 新聞文章提取 / 商品信息提取 輸出最終結果
實際使用時的約束:
- 目標頁面是服務端渲染還是前端渲染,會影響“網頁獲取”能否直接拿到內容;純前端渲染的頁面需要先確認工具是否等待腳本執行。
- CSS 選擇器和 XPath 是互補的兩套定位方式,頁面結構穩定時兩者都能用;結構頻繁變化的站點,選器要跟着改。
- HTML 轉 Markdown 適合把頁面內容餵給模型,但轉換會丟掉部分樣式信息,需要保留原文時請直接取原始 HTML。
- 新聞文章提取與商品信息提取是場景化的封裝,抽取字段由工具內部規則決定;字段不滿足需求時,退回到選擇器自行抽取更可控。
適用場景與注意¶
適合的場景:
- 需要把多個頁面的表格、鏈接批量整理成結構化數據。
- 需要把網頁正文轉成 Markdown 再做摘要、分類或入庫。
- 需要抓取商品頁的價格、名稱等字段做比價或監控。
需要注意的地方:
- 來源是社區,
安裝計數爲 0,說明生產環境引用前應自行驗證。 - 評分爲 100000、下載 895,這兩個數字是抓取時點的快照,SkillHub 頁面上的數據會變動。
- 抓取受目標站點的 robots 協議和服務條款約束,批量請求前應確認是否允許,並控制併發節奏。
- 26 個工具帶來的選擇成本不低:能用選擇器解決的抽取,不必走場景化的新聞或商品提取流程。
結尾¶
網頁抓取MCP服務器的價值在於把“解析”這一步從模型上下文裏剝離出去,讓模型拿到的是表格、鏈接或 Markdown,而不是原始標籤。26 個工具覆蓋了取回、定位、抽取、轉換四個環節,適合需要穩定處理網頁內容的開發者。
官方地址:https://www.skillhub.cn/skills/user_053d27d0/mcp-web-scraper-zx