網頁聚合搜索:爲國內網絡優化的多引擎 Agent 搜索 Skill

前言

在 Agent 裏做資料檢索,常見做法是綁一個帶 API Key 的搜索接口,或讓模型「假裝搜過」。前者有密鑰與配額成本,後者在需要可覈對來源時不夠用。若你更關心國內直連、多源交叉驗證,以及把結果整理成結構化列表,下面介紹 SkillHub 上的社區 Skill「網頁聚合搜索」(@user_d594d76e/web-composite-search)。

這是什麼

「網頁聚合搜索」是面向 Agent 的 knowledge-management 類 Skill,座標 @user_d594d76e/web-composite-search,來源爲 community,發佈者爲 user_d594d76e。SkillHub 頁面將其定位爲:智能多引擎聚合搜索工具,專爲國內網絡優化;集成 25+ 搜索引擎(簡介中列舉百度、搜狗、必應、Google、GitHub、ArXiv 等),支持智能意圖路由、高級搜索語法與多重去重,無需 API Key,標註 requires_api_key=false,國內直連。

安裝包內的 SKILL.md 進一步說明:融合中文深度搜索(公衆號、學術、財經)與 Bing/Yandex、site: 等高級語法,自動路由引擎組合並返回去重後的結構化結果;作者元數據爲 weikev05,許可證 MIT。SkillHub 列表頁當前顯示版本 v1.0.0;本次通過官方下載安裝得到的包內,SKILL.md 頭部版本爲 2.2.0,package.json 爲 1.1.0,以你實際安裝的文件爲準。

官方入口:

  • SkillHub:https://www.skillhub.cn/skills/user_d594d76e/web-composite-search
  • 座標鏈接:https://api.skillhub.cn/user_d594d76e/web-composite-search

(SkillHub 統計:評分 100000,下載 9406,安裝 19,數據取自頁面抓取時點。)

核心功能

以下能力均來自 SkillHub 簡介與安裝包內 SKILL.md、config.yaml、scripts/search.py,未在資料中出現的細節不寫。

  1. 多引擎聚合:覆蓋通用、學術、財經、技術、國際與公衆號等類別;SKILL.md 列舉國內通用(百度、搜狗、360、必應中文、頭條)、學術(ArXiv、Wikipedia、Wolfram Alpha)、財經(東方財富、集思錄、財新)、技術(Stack Overflow、GitHub)、國際(DuckDuckGo、Brave、Qwant 等)、搜狗微信等。
  2. 智能意圖路由:按查詢意圖選擇引擎組合;命令行可通過 --intent 指定 general、tech、academic、finance、social、privacy、knowledge、advanced。
  3. 高級搜索語法:支持 site:、filetype:、intitle:、inurl: 等(見 SKILL.md)。
  4. 多重去重:URL 規範化、標題相似度、內容指紋;閾值可在 config.yaml 的 deduplication 段調整。
  5. 國內優化與降級:config.yaml 中 china_mode 開啓健康檢查與 auto_fallback;單引擎超時、併發與速率限制可配置。
  6. 執行實現:主入口爲 scripts/search.py(Playwright 版本);未安裝 Playwright 時會回退到 requests 模式並打印安裝提示。

安裝與啓用

SkillHub 推薦讓 Agent 按安裝文檔操作,或在本機用 SkillHub CLI 安裝到當前 Agent 的 skills 目錄(裝錯目錄 Agent 不會加載)。

1、安裝 SkillHub CLI(若尚未安裝)

先檢查是否已有 CLI:

command -v skillhub && skillhub --version

未安裝時,可按 https://skillhub.cn/install/skillhub.md 執行完整安裝或僅 CLI:

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

僅 CLI:

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only

2、安裝「網頁聚合搜索」

安裝時必須用 --dir 指向當前環境的 skills 目錄。文檔中的常用路徑示例:

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或項目下 .agents/skills/

安裝命令(與 SkillHub 頁面提示一致,使用完整座標):

skillhub install @user_d594d76e/web-composite-search --dir ~/.cursor/skills/

將 ~/.cursor/skills/ 換成你實際使用的 Agent skills 路徑。也可把下面提示詞發給支持 Skill 安裝的 AI 助手,讓其按 https://skillhub.cn/install/skillhub.md 安裝 @user_d594d76e/web-composite-search:

請根據 https://skillhub.cn/install/skillhub.md,安裝 @user_d594d76e/web-composite-search。

3、Python 依賴與瀏覽器(可選但影響效果)

package.json 要求 Python >= 3.8,並依賴 requests、beautifulsoup4、lxml、pyyaml 等。在 Skill 目錄下安裝依賴後,若需 Playwright 完整能力:

pip install "requests>=2.28.0" "beautifulsoup4>=4.11.0" "lxml>=4.9.0" "pyyaml>=6.0" "urllib3>=1.26.0"
pip install playwright
python -m playwright install chromium

未安裝 Playwright 時,search.py 會警告並回退到 requests 模式。

安裝完成後,按你所用 Agent 的要求重啓或刷新 Skill 列表,使新 Skill 生效。

典型用法

在 Agent 對話中使用

啓用 Skill 後,Agent 應讀取 Skill 目錄下的 SKILL.md 與 config.yaml,在用戶提出檢索、對比資料、查論文或查技術問題時,調用 scripts/search.py 或按文檔描述的路由邏輯執行搜索,並將去重後的標題、URL、摘要返回給你。

命令行直接搜索(可復現)

進入 Skill 安裝目錄(示例路徑隨 --dir 變化),在含 scripts/ 的目錄執行。SKILL.md 給出的基礎示例爲:

python scripts/search.py "人工智能發展趨勢"

安裝包內 search.py 還支持:

python scripts/search.py "Rust async 最佳實踐" --intent tech --max-results 15
python scripts/search.py "大模型推理優化" --intent academic --json
python scripts/search.py "site:github.com transformers" --intent advanced -o results.txt

參數說明:--intent / -i 指定意圖;--max-results / -n 控制條數(默認 10,與 config.yaml 中 default_max_results 一致);--json 輸出 JSON;--output / -o 寫入文件。

適用場景與注意

適合誰

  • 在國內網絡環境下,希望 Agent 做多源網頁檢索、少依賴單一商業搜索 API 的開發者。
  • 需要學術、財經、技術社區或公衆號等垂直來源交叉驗證的場景。
  • 願意在本地跑 Python 腳本、並接受搜索引擎頁面結構變化帶來維護成本的用戶。

限制與注意

  • 無需 API Key 不等於無限制:config.yaml 中有 rate_limit_per_minute、超時與併發上限,頻繁調用可能觸發引擎側限流。
  • 反爬與頁面改版會導致個別引擎失敗;china_mode.auto_fallback 與腳本內的失敗列表用於降級,但無法保證每次全引擎成功。
  • 簡介與正文對 Google 的表述不完全一致:SkillHub 簡介列舉 Google,而 SKILL.md 正文寫「零 Google 依賴」;以實際路由的引擎列表與返回結果爲準。
  • 社區來源(community)Skill,升級與問題反饋依賴發佈者與 SkillHub 渠道;使用前可在 SkillHub 頁面查看版本與說明是否更新。

結尾

「網頁聚合搜索」把多引擎檢索、意圖路由和去重封裝成標準 Skill,適合接到 Cursor、Claude Code、Codex 等支持 SkillHub 安裝鏈路的 Agent 上,在國內直連前提下做可落地的網頁資料蒐集。若你要安裝或查看說明,請以 SkillHub 官方頁爲準:https://www.skillhub.cn/skills/user_d594d76e/web-composite-search 。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜