网页聚合搜索:为国内网络优化的多引擎 Agent 搜索 Skill

前言

在 Agent 里做资料检索,常见做法是绑一个带 API Key 的搜索接口,或让模型「假装搜过」。前者有密钥与配额成本,后者在需要可核对来源时不够用。若你更关心国内直连、多源交叉验证,以及把结果整理成结构化列表,下面介绍 SkillHub 上的社区 Skill「网页聚合搜索」(@user_d594d76e/web-composite-search)。

这是什么

「网页聚合搜索」是面向 Agent 的 knowledge-management 类 Skill,坐标 @user_d594d76e/web-composite-search,来源为 community,发布者为 user_d594d76e。SkillHub 页面将其定位为:智能多引擎聚合搜索工具,专为国内网络优化;集成 25+ 搜索引擎(简介中列举百度、搜狗、必应、Google、GitHub、ArXiv 等),支持智能意图路由、高级搜索语法与多重去重,无需 API Key,标注 requires_api_key=false,国内直连。

安装包内的 SKILL.md 进一步说明:融合中文深度搜索(公众号、学术、财经)与 Bing/Yandex、site: 等高级语法,自动路由引擎组合并返回去重后的结构化结果;作者元数据为 weikev05,许可证 MIT。SkillHub 列表页当前显示版本 v1.0.0;本次通过官方下载安装得到的包内,SKILL.md 头部版本为 2.2.0,package.json 为 1.1.0,以你实际安装的文件为准。

官方入口:

  • SkillHub:https://www.skillhub.cn/skills/user_d594d76e/web-composite-search
  • 坐标链接:https://api.skillhub.cn/user_d594d76e/web-composite-search

(SkillHub 统计:评分 100000,下载 9406,安装 19,数据取自页面抓取时点。)

核心功能

以下能力均来自 SkillHub 简介与安装包内 SKILL.md、config.yaml、scripts/search.py,未在资料中出现的细节不写。

  1. 多引擎聚合:覆盖通用、学术、财经、技术、国际与公众号等类别;SKILL.md 列举国内通用(百度、搜狗、360、必应中文、头条)、学术(ArXiv、Wikipedia、Wolfram Alpha)、财经(东方财富、集思录、财新)、技术(Stack Overflow、GitHub)、国际(DuckDuckGo、Brave、Qwant 等)、搜狗微信等。
  2. 智能意图路由:按查询意图选择引擎组合;命令行可通过 --intent 指定 general、tech、academic、finance、social、privacy、knowledge、advanced。
  3. 高级搜索语法:支持 site:、filetype:、intitle:、inurl: 等(见 SKILL.md)。
  4. 多重去重:URL 规范化、标题相似度、内容指纹;阈值可在 config.yaml 的 deduplication 段调整。
  5. 国内优化与降级:config.yaml 中 china_mode 开启健康检查与 auto_fallback;单引擎超时、并发与速率限制可配置。
  6. 执行实现:主入口为 scripts/search.py(Playwright 版本);未安装 Playwright 时会回退到 requests 模式并打印安装提示。

安装与启用

SkillHub 推荐让 Agent 按安装文档操作,或在本机用 SkillHub CLI 安装到当前 Agent 的 skills 目录(装错目录 Agent 不会加载)。

1、安装 SkillHub CLI(若尚未安装)

先检查是否已有 CLI:

command -v skillhub && skillhub --version

未安装时,可按 https://skillhub.cn/install/skillhub.md 执行完整安装或仅 CLI:

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

仅 CLI:

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only

2、安装「网页聚合搜索」

安装时必须用 --dir 指向当前环境的 skills 目录。文档中的常用路径示例:

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或项目下 .agents/skills/

安装命令(与 SkillHub 页面提示一致,使用完整坐标):

skillhub install @user_d594d76e/web-composite-search --dir ~/.cursor/skills/

将 ~/.cursor/skills/ 换成你实际使用的 Agent skills 路径。也可把下面提示词发给支持 Skill 安装的 AI 助手,让其按 https://skillhub.cn/install/skillhub.md 安装 @user_d594d76e/web-composite-search:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_d594d76e/web-composite-search。

3、Python 依赖与浏览器(可选但影响效果)

package.json 要求 Python >= 3.8,并依赖 requests、beautifulsoup4、lxml、pyyaml 等。在 Skill 目录下安装依赖后,若需 Playwright 完整能力:

pip install "requests>=2.28.0" "beautifulsoup4>=4.11.0" "lxml>=4.9.0" "pyyaml>=6.0" "urllib3>=1.26.0"
pip install playwright
python -m playwright install chromium

未安装 Playwright 时,search.py 会警告并回退到 requests 模式。

安装完成后,按你所用 Agent 的要求重启或刷新 Skill 列表,使新 Skill 生效。

典型用法

在 Agent 对话中使用

启用 Skill 后,Agent 应读取 Skill 目录下的 SKILL.md 与 config.yaml,在用户提出检索、对比资料、查论文或查技术问题时,调用 scripts/search.py 或按文档描述的路由逻辑执行搜索,并将去重后的标题、URL、摘要返回给你。

命令行直接搜索(可复现)

进入 Skill 安装目录(示例路径随 --dir 变化),在含 scripts/ 的目录执行。SKILL.md 给出的基础示例为:

python scripts/search.py "人工智能发展趋势"

安装包内 search.py 还支持:

python scripts/search.py "Rust async 最佳实践" --intent tech --max-results 15
python scripts/search.py "大模型推理优化" --intent academic --json
python scripts/search.py "site:github.com transformers" --intent advanced -o results.txt

参数说明:--intent / -i 指定意图;--max-results / -n 控制条数(默认 10,与 config.yaml 中 default_max_results 一致);--json 输出 JSON;--output / -o 写入文件。

适用场景与注意

适合谁

  • 在国内网络环境下,希望 Agent 做多源网页检索、少依赖单一商业搜索 API 的开发者。
  • 需要学术、财经、技术社区或公众号等垂直来源交叉验证的场景。
  • 愿意在本地跑 Python 脚本、并接受搜索引擎页面结构变化带来维护成本的用户。

限制与注意

  • 无需 API Key 不等于无限制:config.yaml 中有 rate_limit_per_minute、超时与并发上限,频繁调用可能触发引擎侧限流。
  • 反爬与页面改版会导致个别引擎失败;china_mode.auto_fallback 与脚本内的失败列表用于降级,但无法保证每次全引擎成功。
  • 简介与正文对 Google 的表述不完全一致:SkillHub 简介列举 Google,而 SKILL.md 正文写「零 Google 依赖」;以实际路由的引擎列表与返回结果为准。
  • 社区来源(community)Skill,升级与问题反馈依赖发布者与 SkillHub 渠道;使用前可在 SkillHub 页面查看版本与说明是否更新。

结尾

「网页聚合搜索」把多引擎检索、意图路由和去重封装成标准 Skill,适合接到 Cursor、Claude Code、Codex 等支持 SkillHub 安装链路的 Agent 上,在国内直连前提下做可落地的网页资料搜集。若你要安装或查看说明,请以 SkillHub 官方页为准:https://www.skillhub.cn/skills/user_d594d76e/web-composite-search 。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜