Firecrawl：把网页抓取与搜索写进 Agent 的 Web 数据 Skill
Firecrawl（@user_b22a52ba/firecrawl，v2.0.0）是 SkillHub 上的 data-analysis 社区技能，将 Firecrawl 的 Scrape、Search、Map、Crawl、Monitor 及结构化 extract 等能力写入 SKILL.md，供 Agent 在网页抓取与搜索场景按统一约定调用。需配置 FIRECRAWL_API_KEY，通过 skillhub install 或安装文档装入各客户端 skills 目录。本文基于官方 Skill 文档与 SkillHub 页面整理安装、端点与典型 Python 示例，并说明异步 Crawl、计费与反爬等注意点。
阅读全文Web访问技能：为 AI Agent 统一联网与浏览器 CDP 操作指引
Web访问技能（@user_3c6cb52e/web-access-png）是 SkillHub 社区版 1.0.0 技能包，用 SKILL.md 规范 Agent 在 WebSearch、WebFetch、curl 与浏览器 CDP 之间的选型，并给出 CDP Proxy（localhost:3456）调用、本地书签历史检索与子 Agent 分治等约定。本文基于官方页面与 skillhub 安装包核对功能与安装命令，说明 Cursor/Codex 等 skills 目录配置，并提示当前下载包可能仅含指引文件、脚本需以商店或 GitHub 仓库更新为准。
阅读全文网页抓取工具箱：标准库实现的 Agent 网页采集 Skill
网页抓取工具箱（@user_f28fdad8/oc-web-fetch）是 SkillHub 社区 Skill，用四个 Python 脚本完成单 URL 抓取、批量抓取、元素提取与 HTML 转 Markdown，仅依赖标准库、无需 API Key。文章说明其定位与四类能力、通过 skillhub install 安装到 Cursor 等客户端 skills 目录的方法，并给出官方文档中的 JSON 入参示例与适用边界（无 JS 渲染、简化选择器等）。
阅读全文文章获取爬虫：从政务与新闻站点采集 AI 与数字化政策资讯
文章获取爬虫（@user_6ed3129a/capoocat，v1.0.0）是 SkillHub 社区 data-analysis 类 Skill，无需 API Key。面向中国政府与新闻网站，按人工智能、数字化、信息化等关键词抓取并排除招标公示类噪声，输出 original_articles、article_links 与 crawled_links.json。可通过 skillhub install 安装到 Cursor 等 skills 目录，或在对话中让 Agent 按场景触发；亦可 pip 安装 requests、beautifulsoup4、lxml 后运行 crawler_skill.py。
阅读全文公众号抓取 skill：从链接抓取正文并写入飞书文档
公众号抓取 skill（@user_5223609c/scrapling-article-fetch）是 SkillHub 社区版 1.0.0 技能，用 Scrapling 与 html2text 从 URL 提取可读正文（含图），按优先级选择器定位并按字符数截断，再写入飞书文档并返回链接，适合 mp.weixin.qq.com 及一般文章链接的快速验收。本文依据官方页面说明安装方式（skillhub install 与 AI 安装提示词）、核心能力与适用注意，并给出 Cursor、Claude Code、Codex 等 skills 目录参考。
阅读全文BrowserSkill 浏览器自启动器：让 bsk 抓取任务自己拉起 Edge
BrowserSkill（bsk）抓取与自动化要求本机 Edge 已开且扩展连上 daemon，无人值守任务常因 browsers connected 0 中断。SkillHub 社区 Skill「BrowserSkill 浏览器自启动器」（@user_656c2e70/bsk-browser-launcher，v1.0.0）通过 launch_browser.py 做 bsk status 自检、按需启动 Edge、轮询等待连接，并以退出码 0/3/4 约定就绪、超时与建会话失败；可选 --start-session 输出 SESSION=id。文章说明安装命令、典型 bsk 会话骨架及 Windows 路径依赖。
阅读全文网页抓取与内容理解：多策略级联的网页采集与理解 Skill
SkillHub 社区 Skill「网页抓取与内容理解」（@user_f12a44b7/self-dev-web-scraper，v1.0.7）面向公开网页的正文与元数据采集。它从轻量 HTTP 起步，按需回退到 HTML 解析与 Playwright 渲染，并集成新闻检测、样板移除、结构化元数据提取与 LLM 实体识别。安装方式为按 skillhub.md 安装坐标包；通过「抓取网页」「批量爬取」等自然语言触发。不适用登录站（需自配 Cookie/Session）、API 文档站与大文件下载。
阅读全文自适应网络工具向导·上网助手：按意图路由网页任务
网络搜索工具·上网助手（@laoxi/adaptive-web-router-shangwangzhushou，v1.0.2）是劳希在 SkillHub 发布的 ai-agent 类技能。它根据意图、能力、风险与成本，将搜索、读 URL、热点新闻、JS 渲染、登录页、截图与网页交互等任务路由到 web_search、web_fetch、opencli、browser 或宿主等价工具，并强调最小权限、有限重试、进度说明与来源核验，支持从网页工具故障中恢复。不处理纯本地文件，也不自动安装软件。安装可参考 skillhub.cn/install/skillhub.md，使用 skillhub install 并指定 Agent 的 skills 目录。
阅读全文firecrawl-build-interact：在业务代码里组装 Firecrawl `/interact` 多步浏览器流程
firecrawl-build-interact 是 Firecrawl 官方 Agent Skill，用于在业务代码中组装 Firecrawl /interact 流程。当 /scrape 无法应对登录、分页、填表、无限滚动或 JS 单页应用时，它封装 steps、waits 与鉴权导航等模式，使多步浏览器操作可视为单次调用。安装命令为 npx skills add 指定仓库与 skill 名。适合需要鉴权抓取、分页采集与多步表单等场景。
阅读全文dsh-wsl-playwright：WSL 无头 Playwright 抓取页面标题与正文
DeepSeek Harness (DSH) 插件 `dsh-wsl-playwright` 专为在 WSL 环境中运行无头 Playwright 浏览器而设计，旨在解决 Windows 端浏览器运行的环境隔离与权限问题。该插件依赖系统 npx 和 node，不包含浏览器二进制文件。核心功能包括 `pw_status` 检查环境及 `pw_fetch` 抓取网页标题与正文。用户可通过简单命令安装使用，需注意 DSH 版本要求及避免与交互式浏览器冲突。
阅读全文better-crawler-4-agent
better-crawler-4-agent 是一款针对智能体网页抓取问题的 MCP server。它通过真实浏览器渲染解决 HTTP 抓取返回空壳或被反爬拦截的问题。该插件提供三个工具：抓取单个页面、并发抓取（支持20条并发）及查看状态。它采用分层降级策略，优先使用浏览器渲染，失败时自动降级为 trafilatura 或 httpx。插件兼容 DSH、Claude Code、Cursor 等客户端，但需注意锁定 Playwright 版本及并发限制。
阅读全文dsh-tavily-pool: Tavily 驱动的 DeepSeek Harness 多密钥搜索插件
DeepSeek Harness 插件 `dsh-tavily-pool` 解决了单 API 密钥搜索的速率限制问题。该插件基于 Tavily，通过多密钥池管理、余额感知轮转及自动故障转移机制，确保了搜索与抓取的高可用性。核心功能包括批量密钥管理、调用监控及独立开关，支持纯文本抓取与参数配置。安装简便，无运行时依赖，适用于需要高并发搜索能力的开发者。
阅读全文dsh-web-fetch-enhanced：DeepSeek Harness 网页抓取的非公开地址白名单
`dsh-web-fetch-enhanced` 是 DeepSeek Harness 的安全增强插件，旨在解决原生 `web_fetch` 默认拒绝非公网地址导致无法访问可信内网服务的问题。该插件默认拒绝非公网目标，仅放行明确命中的 CIDR 或域名白名单。 核心功能包括与原生工具兼容、网页端即时配置、双层白名单机制（CIDR+域名）、DNS校验、重定向逐跳复核及资源上限控制。用户可通过 DSH Web 界面配置允许的网段和域名。安装后，Agent 可安全读取内网文档或访问私有服务，同时插件严格限制请求范围，禁止 Cookie、URL 凭据及过度放行，并自动向模型注入授权声明。
阅读全文xby-fetch：DSH 网页内容抓取插件
`xby-fetch` 是一款为 DeepSeek Harness (DSH) 智能体提供的 MCP 服务器插件，解决了早期版本缺乏联网能力的问题。该插件支持将网页 HTML 转换为 Markdown，方便内容处理。安装后需通过命令设置 API 密钥以获取权限。插件通过 `fetch` 命令抓取指定 URL 内容，使智能体能获取最新信息。使用时需注意需在小笨羊官网注册获取密钥，并建议在安装前检查源码与许可证。
阅读全文zoahdev/dsh-firecrawl：通过 Firecrawl API 抓取网页与搜索
`zoahdev/dsh-firecrawl` 是 DeepSeek Harness 的社区插件，作为 Firecrawl 的桥接层，提供网页抓取和搜索功能。它通过 API 将 URL 转换为 Markdown 格式，支持处理复杂页面。安装需使用 `dsh plugin --profile web add dsh-firecrawl`，并配置 `apiKey`。调用工具如 `firecrawl_scrape` 和 `firecrawl_search` 即可获取内容。使用前需注意需有效 API Key、依赖特定版本、不支持流式传输及为非官方项目。
阅读全文dsh-cloudflare-browser-run：为 DeepSeek Harness 提供真实浏览器抓取能力
dsh-cloudflare-browser-run 是 RealAlexandreAI 维护的 DSH 插件，将 Cloudflare Browser Run 的无头 Chrome 接入 DSH，弥补普通 HTTP 抓取无法处理 JS 渲染页面的短板。插件提供三个工具：browse（默认返回干净的 markdown，可选截图或 PDF）、screenshot 和 pdf。其设计特点包括真实浏览器访问、SSRF 防
阅读全文dsh-web-fetch：CDP 渲染 + Tavily 提取，双源网页抓取插件
dsh-web-fetch 是 runfali 开发的 MIT 许可 DeepSeek Harness（DSH）联网插件，解决网页抓取的两个痛点：SPA 等需要真实渲染的页面与
阅读全文dshsearch-multi：面向 DSH 的多引擎网页搜索与网页抓取插件
dshsearch-multi 是一款由 abcdream-Lary 开发的 DSH（DeepSeek Harness）插件，采用 MIT 许可证，旨在为智能体提供统一的多引擎网页搜索与正文抓取能力。该插件通过标准 Provider 接口注册，无需修改 DSH 源码，支持 AnySearch、Bing、DuckDuckGo、Tavily 和 Exa 五大引擎。其中，前三种无需 API Key，后两种需配置密钥；搜索失败时可自动切换可用引擎兜底。插件还提供 `web.fetch` 网页抓取功能及不调用 LLM 的确定性查询意图识别。 用户可通过 DSH Web 设置页、`settings.yam
阅读全文dsh-scrape-webpage：网页抓取与统计分析插件
`dsh-scrape-webpage` 是 DeepSeek Harness 生态中一款 Host-only、零依赖的 MIT 许可插件，旨在自动化网页内容抓取与轻量分析。该插件支持 HTTP/HTTPS 协议，能提取标题、描述、正文、H1-H6 结构及链接（上限 100 条），并输出字符数、阅读时长、语言倾向及 Top30 高频关键词等统计信息。 其核心优势在于集成图片下载与识图扩展功能。插件可下载最多 6 张页面内容图片至本地，并通过 `scrape.imageAnalyzer` 服务接口支持接入独立识图插件，实现图片视觉分析结果附加输出。在安全方面，默认在沙箱内运行，若 HTTPS 受
阅读全文用 firecrawl-build：把网页搜索、抓取和浏览器交互写进应用代码
firecrawl-build 是 Firecrawl 官方的应用集成入口 Skill，位于 firecrawl/skills 仓库。它面向产品、Agent 或工作流在代码里获取网页数据的场景，先问清要拿什么、怎么拿，再把需求路由到 /scrape、/search 或 /interact，而不是把「当前会话帮我搜一页」和「把 Firecrawl 写进后端」混在一起。本文按 SKILL.md、仓库 README 与官方文档核对安装命令、环境变量、SDK、子技能分工、冒烟测试以及和 CLI / Workflow 技能的边界。
阅读全文firecrawl-cli：让 AI Agent 用 CLI 抓取、搜索、爬取与映射网页
firecrawl-cli 是 Firecrawl 官方 Agent Skill（目录 skills/firecrawl-cli，frontmatter 名为 firecrawl）。它让 Cursor、Claude Code、Codex 等助手用 firecrawl CLI 搜索、抓取、映射、爬取和交互网页，结果以 Markdown/JSON 写入 .firecrawl/。本文依据官方 SKILL.md 与 CLI 文档，说明安装鉴权、search→scrape→map→crawl→interact 路径，以及 credits 与无 Key 限流等注意点。
阅读全文