前言¶
在 DeepSeek Harness（DSH）插件场景中，智能体经常需要处理 URL：读取公开网页正文、整理页面链接、解析 RSS 2.0 / Atom 订阅源，或者检查 HTTP 状态码、响应头和重定向链。dsh-webfetch 提供一组只读工具，将 http/https URL 转成适合后续处理的 Markdown 或纯文本内容，并保留必要的链接和响应信息。
这是什么¶
dsh-webfetch 是 DeepSeek Harness 的网页读取插件。它用于抓取网页并提取 Markdown 或纯文本正文、收集页面链接、解析 RSS 2.0 / Atom 订阅源，以及在不下载正文的情况下检查 HTTP 头部和重定向链。
该插件零运行时依赖，许可证为 MIT，运行环境要求 Node >=20。仓库地址为 TYEclipse/dsh-webfetch。
核心功能¶
web_fetch¶
web_fetch 用于抓取 http/https 页面，并提取 Markdown 或纯文本正文。
它只读取可解析的响应类型，覆盖 text/html 和 text/plain。对提取出的正文存在长度上限，超长内容会被限制返回。
web_links¶
web_links 用于收集页面上的链接，并将链接解析为绝对 URL。
它会去重并限制返回数量，适合用于查看一个页面指向哪些外部地址。
web_feed¶
web_feed 用于解析 RSS 2.0 / Atom 订阅源，并返回结构化条目。
它接受 RSS/Atom/XML 类型，适合处理博客、新闻源或其他订阅流。
web_headers¶
web_headers 用于探测 HTTP 状态码、响应头和重定向链。
它不下载页面正文，适合在获取内容之前检查目标地址是否可用、是否发生重定向，或查看必要的响应头信息。
代理与安全限制¶
dsh-webfetch 内置 HTTP/HTTPS 代理支持。
它的访问范围限制在 http/https，并拒绝 file:、ftp:、javascript: 等地址。插件不会发送凭证：拒绝包含凭证的 URL，不附加 cookies 或 authorization headers。
同时，插件存在请求超时、重定向跳转、响应大小和提取文本长度等上限。
安装与启用¶
在 DSH 插件体系中，可以按 profile 安装该插件：
dsh plugin --profile web add github:TYEclipse/dsh-webfetch
安装后，web_fetch、web_links、web_feed、web_headers 可作为 DSH 智能体工具调用。
典型用法¶
下面示例用于说明各工具的用途边界。
读取一个公开仓库页面：
agent: web_fetch("https://github.com/deepseek-ai/deepseek-harness")
web_fetch 会读取目标页面的可读内容，返回适合摘要、问答或进一步处理的正文。
读取订阅源并限制条目数：
agent: web_feed("https://blog.example.com/feed.xml", maxItems: 5)
web_feed 会解析 RSS 2.0 / Atom 订阅源，并返回有限的结构化条目。
检查下载链接的状态与重定向：
agent: web_headers("https://example.com/downloads/latest")
web_headers 会检查 HTTP 状态、响应头和重定向链，而不是下载完整正文。
适用场景与注意¶
dsh-webfetch 适合以下场景：
1、读取公开 http/https 网页，并将正文整理为 Markdown 或纯文本。
2、收集页面链接，解析为绝对 URL 并去重。
3、解析 RSS 2.0 / Atom 订阅源。
4、检查 URL 的 HTTP 状态码、响应头和重定向链。
使用注意：
1、插件以当前 dsh 进程权限运行，安装前应检查源码与 MIT 许可证。
2、它只支持 http/https，不适合 file:、ftp:、javascript: 等地址。
3、它不发送凭证，不附加 cookies 或 authorization headers，因此不适合依赖登录态的页面抓取。
4、web_fetch 和 web_links 仅解析 text/html 和 text/plain；web_feed 接受 RSS/Atom/XML 类型。
5、请求超时、重定向跳转、响应大小和提取文本长度都有上限。
结尾¶
dsh-webfetch 的价值在于把“读取 URL”变成 DSH 插件里的稳定能力：只读、低依赖、边界清晰。它适合用于网页正文提取、页面链接整理、RSS/Atom 订阅源解析，以及 HTTP 状态和重定向检查。
GitHub：https://github.com/TYEclipse/dsh-webfetch
DSH 社区目录：可按插件名 dsh-webfetch 检索；目录页为独立站点，与 DeepSeek / 幻方无官方从属关系。
