前言¶
给模型接工具时,第一步通常是让它“读网页”。直接把 HTML 丢进上下文有两个问题:页面里夹着脚本、样式和导航噪声,token 烧得快;表格、价格、正文结构混在一起,模型也很难稳定抽取。
这类需求的本质是“先解析、再交给模型”,而不是“让模型硬读原始 HTML”。网页抓取MCP服务器把网页获取、结构化提取、格式转换等 26 个 MCP 工具打包成一个 Skill,模型调用工具拿到的是解析后的结果,而不是一整页标签。
这是什么¶
网页抓取MCP服务器是一个社区来源的 MCP Skill,坐标 @user_053d27d0/mcp-web-scraper-zx,当前版本 1.0.1,发布者为 user_053d27d0,托管在 SkillHub 上,SkillHub 分类为 data-analysis。
它解决的是网页数据进入模型前的处理环节:请求页面、识别正文、抽取表格与链接、把 HTML 转成结构化文本。
该 Skill 的标签为 requires_api_key=false,说明按官方说明不需要额外配置 API key 即可使用。
核心功能¶
官方简介列出了 26 个 MCP 工具,覆盖的能力可以分成三类。
- 取回内容:网页获取、JSON API 调用、文件下载。
- 定位与抽取:HTML 表格解析、链接提取、CSS 选择器、XPath。
- 转换与场景化提取:HTML 转 Markdown、新闻文章提取、商品信息提取。
前一类解决“拿到原始响应”,中间一类解决“在文档里精确定位节点”,后一类解决“输出可直接用的格式”。新闻文章提取和商品信息提取是其中针对性最强的两个:前者偏向正文与标题,后者偏向价格、名称等字段。
工具的具体名称和参数以官方页面为准,本文不逐一臆造。
安装与启用¶
SkillHub 上的安装入口有两个,取其一即可:
SkillHub 页面: https://www.skillhub.cn/skills/user_053d27d0/mcp-web-scraper-zx
接口地址: https://api.skillhub.cn/user_053d27d0/mcp-web-scraper-zx
配置 Skill 时需要填写的字段来自官方元数据:
name: mcp-web-scraper-zx
coord: @user_053d27d0/mcp-web-scraper-zx
version: 1.0.1
source: community
category: data-analysis
api_key: 不需要(requires_api_key=false)
几点说明:
- 这是社区来源(
source: community)的 Skill,不是官方维护的上游仓库,升级节奏取决于发布者。 - 元数据里
安装计数为 0、下载为 895,说明当前使用面还比较小,遇到问题可能缺少现成答案。 - 不同宿主(Cursor、Codex CLI、Claude Code)对 MCP 服务的配置方式本身有差异,请以所用宿主的 MCP 配置文档为准,本文未核实到该 Skill 针对某个宿主的专用说明。
典型用法¶
官方简介给出的能力可以拆成下面的调用序列,顺序上先取回、再解析、最后转换。
1. 网页获取 / JSON API / 文件下载 拿到原始响应
2. CSS 选择器 / XPath 定位目标节点
3. HTML 表格解析 / 链接提取 结构化抽取
4. HTML 转 Markdown / 新闻文章提取 / 商品信息提取 输出最终结果
实际使用时的约束:
- 目标页面是服务端渲染还是前端渲染,会影响“网页获取”能否直接拿到内容;纯前端渲染的页面需要先确认工具是否等待脚本执行。
- CSS 选择器和 XPath 是互补的两套定位方式,页面结构稳定时两者都能用;结构频繁变化的站点,选器要跟着改。
- HTML 转 Markdown 适合把页面内容喂给模型,但转换会丢掉部分样式信息,需要保留原文时请直接取原始 HTML。
- 新闻文章提取与商品信息提取是场景化的封装,抽取字段由工具内部规则决定;字段不满足需求时,退回到选择器自行抽取更可控。
适用场景与注意¶
适合的场景:
- 需要把多个页面的表格、链接批量整理成结构化数据。
- 需要把网页正文转成 Markdown 再做摘要、分类或入库。
- 需要抓取商品页的价格、名称等字段做比价或监控。
需要注意的地方:
- 来源是社区,
安装计数为 0,说明生产环境引用前应自行验证。 - 评分为 100000、下载 895,这两个数字是抓取时点的快照,SkillHub 页面上的数据会变动。
- 抓取受目标站点的 robots 协议和服务条款约束,批量请求前应确认是否允许,并控制并发节奏。
- 26 个工具带来的选择成本不低:能用选择器解决的抽取,不必走场景化的新闻或商品提取流程。
结尾¶
网页抓取MCP服务器的价值在于把“解析”这一步从模型上下文里剥离出去,让模型拿到的是表格、链接或 Markdown,而不是原始标签。26 个工具覆盖了取回、定位、抽取、转换四个环节,适合需要稳定处理网页内容的开发者。
官方地址:https://www.skillhub.cn/skills/user_053d27d0/mcp-web-scraper-zx