網頁抓取MCP服務器:把網頁解析能力交給模型

前言

給模型接工具時,第一步通常是讓它“讀網頁”。直接把 HTML 丟進上下文有兩個問題:頁面裏夾着腳本、樣式和導航噪聲,token 燒得快;表格、價格、正文結構混在一起,模型也很難穩定抽取。

這類需求的本質是“先解析、再交給模型”,而不是“讓模型硬讀原始 HTML”。網頁抓取MCP服務器把網頁獲取、結構化提取、格式轉換等 26 個 MCP 工具打包成一個 Skill,模型調用工具拿到的是解析後的結果,而不是一整頁標籤。

這是什麼

網頁抓取MCP服務器是一個社區來源的 MCP Skill,座標 @user_053d27d0/mcp-web-scraper-zx,當前版本 1.0.1,發佈者爲 user_053d27d0,託管在 SkillHub 上,SkillHub 分類爲 data-analysis。

它解決的是網頁數據進入模型前的處理環節:請求頁面、識別正文、抽取表格與鏈接、把 HTML 轉成結構化文本。

該 Skill 的標籤爲 requires_api_key=false,說明按官方說明不需要額外配置 API key 即可使用。

核心功能

官方簡介列出了 26 個 MCP 工具,覆蓋的能力可以分成三類。

  1. 取回內容:網頁獲取、JSON API 調用、文件下載。
  2. 定位與抽取:HTML 表格解析、鏈接提取、CSS 選擇器、XPath。
  3. 轉換與場景化提取:HTML 轉 Markdown、新聞文章提取、商品信息提取。

前一類解決“拿到原始響應”,中間一類解決“在文檔裏精確定位節點”,後一類解決“輸出可直接用的格式”。新聞文章提取和商品信息提取是其中針對性最強的兩個:前者偏向正文與標題,後者偏向價格、名稱等字段。

工具的具體名稱和參數以官方頁面爲準,本文不逐一臆造。

安裝與啓用

SkillHub 上的安裝入口有兩個,取其一即可:

SkillHub 頁面: https://www.skillhub.cn/skills/user_053d27d0/mcp-web-scraper-zx
接口地址:     https://api.skillhub.cn/user_053d27d0/mcp-web-scraper-zx

配置 Skill 時需要填寫的字段來自官方元數據:

name:   mcp-web-scraper-zx
coord:  @user_053d27d0/mcp-web-scraper-zx
version: 1.0.1
source: community
category: data-analysis
api_key: 不需要(requires_api_key=false)

幾點說明:

  1. 這是社區來源(source: community)的 Skill,不是官方維護的上游倉庫,升級節奏取決於發佈者。
  2. 元數據裏 安裝 計數爲 0、下載 爲 895,說明當前使用面還比較小,遇到問題可能缺少現成答案。
  3. 不同宿主(Cursor、Codex CLI、Claude Code)對 MCP 服務的配置方式本身有差異,請以所用宿主的 MCP 配置文檔爲準,本文未覈實到該 Skill 針對某個宿主的專用說明。

典型用法

官方簡介給出的能力可以拆成下面的調用序列,順序上先取回、再解析、最後轉換。

1. 網頁獲取 / JSON API / 文件下載   拿到原始響應
2. CSS 選擇器 / XPath               定位目標節點
3. HTML 表格解析 / 鏈接提取         結構化抽取
4. HTML 轉 Markdown / 新聞文章提取 / 商品信息提取   輸出最終結果

實際使用時的約束:

  1. 目標頁面是服務端渲染還是前端渲染,會影響“網頁獲取”能否直接拿到內容;純前端渲染的頁面需要先確認工具是否等待腳本執行。
  2. CSS 選擇器和 XPath 是互補的兩套定位方式,頁面結構穩定時兩者都能用;結構頻繁變化的站點,選器要跟着改。
  3. HTML 轉 Markdown 適合把頁面內容餵給模型,但轉換會丟掉部分樣式信息,需要保留原文時請直接取原始 HTML。
  4. 新聞文章提取與商品信息提取是場景化的封裝,抽取字段由工具內部規則決定;字段不滿足需求時,退回到選擇器自行抽取更可控。

適用場景與注意

適合的場景:

  1. 需要把多個頁面的表格、鏈接批量整理成結構化數據。
  2. 需要把網頁正文轉成 Markdown 再做摘要、分類或入庫。
  3. 需要抓取商品頁的價格、名稱等字段做比價或監控。

需要注意的地方:

  1. 來源是社區,安裝 計數爲 0,說明生產環境引用前應自行驗證。
  2. 評分爲 100000、下載 895,這兩個數字是抓取時點的快照,SkillHub 頁面上的數據會變動。
  3. 抓取受目標站點的 robots 協議和服務條款約束,批量請求前應確認是否允許,並控制併發節奏。
  4. 26 個工具帶來的選擇成本不低:能用選擇器解決的抽取,不必走場景化的新聞或商品提取流程。

結尾

網頁抓取MCP服務器的價值在於把“解析”這一步從模型上下文裏剝離出去,讓模型拿到的是表格、鏈接或 Markdown,而不是原始標籤。26 個工具覆蓋了取回、定位、抽取、轉換四個環節,適合需要穩定處理網頁內容的開發者。

官方地址:https://www.skillhub.cn/skills/user_053d27d0/mcp-web-scraper-zx

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜