前言¶
在 Agent 里做资料检索,常见做法是绑一个带 API Key 的搜索接口,或让模型「假装搜过」。前者有密钥与配额成本,后者在需要可核对来源时不够用。若你更关心国内直连、多源交叉验证,以及把结果整理成结构化列表,下面介绍 SkillHub 上的社区 Skill「网页聚合搜索」(@user_d594d76e/web-composite-search)。
这是什么¶
「网页聚合搜索」是面向 Agent 的 knowledge-management 类 Skill,坐标 @user_d594d76e/web-composite-search,来源为 community,发布者为 user_d594d76e。SkillHub 页面将其定位为:智能多引擎聚合搜索工具,专为国内网络优化;集成 25+ 搜索引擎(简介中列举百度、搜狗、必应、Google、GitHub、ArXiv 等),支持智能意图路由、高级搜索语法与多重去重,无需 API Key,标注 requires_api_key=false,国内直连。
安装包内的 SKILL.md 进一步说明:融合中文深度搜索(公众号、学术、财经)与 Bing/Yandex、site: 等高级语法,自动路由引擎组合并返回去重后的结构化结果;作者元数据为 weikev05,许可证 MIT。SkillHub 列表页当前显示版本 v1.0.0;本次通过官方下载安装得到的包内,SKILL.md 头部版本为 2.2.0,package.json 为 1.1.0,以你实际安装的文件为准。
官方入口:
- SkillHub:https://www.skillhub.cn/skills/user_d594d76e/web-composite-search
- 坐标链接:https://api.skillhub.cn/user_d594d76e/web-composite-search
(SkillHub 统计:评分 100000,下载 9406,安装 19,数据取自页面抓取时点。)
核心功能¶
以下能力均来自 SkillHub 简介与安装包内 SKILL.md、config.yaml、scripts/search.py,未在资料中出现的细节不写。
- 多引擎聚合:覆盖通用、学术、财经、技术、国际与公众号等类别;
SKILL.md列举国内通用(百度、搜狗、360、必应中文、头条)、学术(ArXiv、Wikipedia、Wolfram Alpha)、财经(东方财富、集思录、财新)、技术(Stack Overflow、GitHub)、国际(DuckDuckGo、Brave、Qwant 等)、搜狗微信等。 - 智能意图路由:按查询意图选择引擎组合;命令行可通过
--intent指定general、tech、academic、finance、social、privacy、knowledge、advanced。 - 高级搜索语法:支持
site:、filetype:、intitle:、inurl:等(见SKILL.md)。 - 多重去重:URL 规范化、标题相似度、内容指纹;阈值可在
config.yaml的deduplication段调整。 - 国内优化与降级:
config.yaml中china_mode开启健康检查与auto_fallback;单引擎超时、并发与速率限制可配置。 - 执行实现:主入口为
scripts/search.py(Playwright 版本);未安装 Playwright 时会回退到 requests 模式并打印安装提示。
安装与启用¶
SkillHub 推荐让 Agent 按安装文档操作,或在本机用 SkillHub CLI 安装到当前 Agent 的 skills 目录(装错目录 Agent 不会加载)。
1、安装 SkillHub CLI(若尚未安装)¶
先检查是否已有 CLI:
command -v skillhub && skillhub --version
未安装时,可按 https://skillhub.cn/install/skillhub.md 执行完整安装或仅 CLI:
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash
仅 CLI:
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only
2、安装「网页聚合搜索」¶
安装时必须用 --dir 指向当前环境的 skills 目录。文档中的常用路径示例:
- Cursor:
~/.cursor/skills/ - Claude Code:
~/.claude/skills/ - Codex:
~/.codex/skills/或项目下.agents/skills/
安装命令(与 SkillHub 页面提示一致,使用完整坐标):
skillhub install @user_d594d76e/web-composite-search --dir ~/.cursor/skills/
将 ~/.cursor/skills/ 换成你实际使用的 Agent skills 路径。也可把下面提示词发给支持 Skill 安装的 AI 助手,让其按 https://skillhub.cn/install/skillhub.md 安装 @user_d594d76e/web-composite-search:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_d594d76e/web-composite-search。
3、Python 依赖与浏览器(可选但影响效果)¶
package.json 要求 Python >= 3.8,并依赖 requests、beautifulsoup4、lxml、pyyaml 等。在 Skill 目录下安装依赖后,若需 Playwright 完整能力:
pip install "requests>=2.28.0" "beautifulsoup4>=4.11.0" "lxml>=4.9.0" "pyyaml>=6.0" "urllib3>=1.26.0"
pip install playwright
python -m playwright install chromium
未安装 Playwright 时,search.py 会警告并回退到 requests 模式。
安装完成后,按你所用 Agent 的要求重启或刷新 Skill 列表,使新 Skill 生效。
典型用法¶
在 Agent 对话中使用¶
启用 Skill 后,Agent 应读取 Skill 目录下的 SKILL.md 与 config.yaml,在用户提出检索、对比资料、查论文或查技术问题时,调用 scripts/search.py 或按文档描述的路由逻辑执行搜索,并将去重后的标题、URL、摘要返回给你。
命令行直接搜索(可复现)¶
进入 Skill 安装目录(示例路径随 --dir 变化),在含 scripts/ 的目录执行。SKILL.md 给出的基础示例为:
python scripts/search.py "人工智能发展趋势"
安装包内 search.py 还支持:
python scripts/search.py "Rust async 最佳实践" --intent tech --max-results 15
python scripts/search.py "大模型推理优化" --intent academic --json
python scripts/search.py "site:github.com transformers" --intent advanced -o results.txt
参数说明:--intent / -i 指定意图;--max-results / -n 控制条数(默认 10,与 config.yaml 中 default_max_results 一致);--json 输出 JSON;--output / -o 写入文件。
适用场景与注意¶
适合谁
- 在国内网络环境下,希望 Agent 做多源网页检索、少依赖单一商业搜索 API 的开发者。
- 需要学术、财经、技术社区或公众号等垂直来源交叉验证的场景。
- 愿意在本地跑 Python 脚本、并接受搜索引擎页面结构变化带来维护成本的用户。
限制与注意
- 无需 API Key 不等于无限制:
config.yaml中有rate_limit_per_minute、超时与并发上限,频繁调用可能触发引擎侧限流。 - 反爬与页面改版会导致个别引擎失败;
china_mode.auto_fallback与脚本内的失败列表用于降级,但无法保证每次全引擎成功。 - 简介与正文对 Google 的表述不完全一致:SkillHub 简介列举 Google,而
SKILL.md正文写「零 Google 依赖」;以实际路由的引擎列表与返回结果为准。 - 社区来源(community)Skill,升级与问题反馈依赖发布者与 SkillHub 渠道;使用前可在 SkillHub 页面查看版本与说明是否更新。
结尾¶
「网页聚合搜索」把多引擎检索、意图路由和去重封装成标准 Skill,适合接到 Cursor、Claude Code、Codex 等支持 SkillHub 安装链路的 Agent 上,在国内直连前提下做可落地的网页资料搜集。若你要安装或查看说明,请以 SkillHub 官方页为准:https://www.skillhub.cn/skills/user_d594d76e/web-composite-search 。