网页抓取MCP服务器:把网页解析能力交给模型

前言

给模型接工具时,第一步通常是让它“读网页”。直接把 HTML 丢进上下文有两个问题:页面里夹着脚本、样式和导航噪声,token 烧得快;表格、价格、正文结构混在一起,模型也很难稳定抽取。

这类需求的本质是“先解析、再交给模型”,而不是“让模型硬读原始 HTML”。网页抓取MCP服务器把网页获取、结构化提取、格式转换等 26 个 MCP 工具打包成一个 Skill,模型调用工具拿到的是解析后的结果,而不是一整页标签。

这是什么

网页抓取MCP服务器是一个社区来源的 MCP Skill,坐标 @user_053d27d0/mcp-web-scraper-zx,当前版本 1.0.1,发布者为 user_053d27d0,托管在 SkillHub 上,SkillHub 分类为 data-analysis。

它解决的是网页数据进入模型前的处理环节:请求页面、识别正文、抽取表格与链接、把 HTML 转成结构化文本。

该 Skill 的标签为 requires_api_key=false,说明按官方说明不需要额外配置 API key 即可使用。

核心功能

官方简介列出了 26 个 MCP 工具,覆盖的能力可以分成三类。

  1. 取回内容:网页获取、JSON API 调用、文件下载。
  2. 定位与抽取:HTML 表格解析、链接提取、CSS 选择器、XPath。
  3. 转换与场景化提取:HTML 转 Markdown、新闻文章提取、商品信息提取。

前一类解决“拿到原始响应”,中间一类解决“在文档里精确定位节点”,后一类解决“输出可直接用的格式”。新闻文章提取和商品信息提取是其中针对性最强的两个:前者偏向正文与标题,后者偏向价格、名称等字段。

工具的具体名称和参数以官方页面为准,本文不逐一臆造。

安装与启用

SkillHub 上的安装入口有两个,取其一即可:

SkillHub 页面: https://www.skillhub.cn/skills/user_053d27d0/mcp-web-scraper-zx
接口地址:     https://api.skillhub.cn/user_053d27d0/mcp-web-scraper-zx

配置 Skill 时需要填写的字段来自官方元数据:

name:   mcp-web-scraper-zx
coord:  @user_053d27d0/mcp-web-scraper-zx
version: 1.0.1
source: community
category: data-analysis
api_key: 不需要(requires_api_key=false)

几点说明:

  1. 这是社区来源(source: community)的 Skill,不是官方维护的上游仓库,升级节奏取决于发布者。
  2. 元数据里 安装 计数为 0、下载 为 895,说明当前使用面还比较小,遇到问题可能缺少现成答案。
  3. 不同宿主(Cursor、Codex CLI、Claude Code)对 MCP 服务的配置方式本身有差异,请以所用宿主的 MCP 配置文档为准,本文未核实到该 Skill 针对某个宿主的专用说明。

典型用法

官方简介给出的能力可以拆成下面的调用序列,顺序上先取回、再解析、最后转换。

1. 网页获取 / JSON API / 文件下载   拿到原始响应
2. CSS 选择器 / XPath               定位目标节点
3. HTML 表格解析 / 链接提取         结构化抽取
4. HTML 转 Markdown / 新闻文章提取 / 商品信息提取   输出最终结果

实际使用时的约束:

  1. 目标页面是服务端渲染还是前端渲染,会影响“网页获取”能否直接拿到内容;纯前端渲染的页面需要先确认工具是否等待脚本执行。
  2. CSS 选择器和 XPath 是互补的两套定位方式,页面结构稳定时两者都能用;结构频繁变化的站点,选器要跟着改。
  3. HTML 转 Markdown 适合把页面内容喂给模型,但转换会丢掉部分样式信息,需要保留原文时请直接取原始 HTML。
  4. 新闻文章提取与商品信息提取是场景化的封装,抽取字段由工具内部规则决定;字段不满足需求时,退回到选择器自行抽取更可控。

适用场景与注意

适合的场景:

  1. 需要把多个页面的表格、链接批量整理成结构化数据。
  2. 需要把网页正文转成 Markdown 再做摘要、分类或入库。
  3. 需要抓取商品页的价格、名称等字段做比价或监控。

需要注意的地方:

  1. 来源是社区,安装 计数为 0,说明生产环境引用前应自行验证。
  2. 评分为 100000、下载 895,这两个数字是抓取时点的快照,SkillHub 页面上的数据会变动。
  3. 抓取受目标站点的 robots 协议和服务条款约束,批量请求前应确认是否允许,并控制并发节奏。
  4. 26 个工具带来的选择成本不低:能用选择器解决的抽取,不必走场景化的新闻或商品提取流程。

结尾

网页抓取MCP服务器的价值在于把“解析”这一步从模型上下文里剥离出去,让模型拿到的是表格、链接或 Markdown,而不是原始标签。26 个工具覆盖了取回、定位、抽取、转换四个环节,适合需要稳定处理网页内容的开发者。

官方地址:https://www.skillhub.cn/skills/user_053d27d0/mcp-web-scraper-zx

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜