Web聯網搜索:網頁搜索、反爬抓取與深度解析的 Agent Skill

前言

做數據採集或調研類 Agent 時,經常遇到三類問題:搜索結果分散在不同引擎、寫法各異;目標站點有反爬,直接請求拿不到正文;網頁裏掛的 PDF、附件無法直接讀取。這個 Skill 試圖把這幾件事合併到一個流程裏:給定關鍵詞,先搜索,再對反爬頁面截圖分析,再對網頁中的文件做深度解析。

下面介紹它的定位、已覈實的功能和啓用方式。

這是什麼

「Web聯網搜索」是一個基於通用 SKILL.md 格式的社區 Skill,座標 @user_7f5af776/web-retriever,版本 1.0.0,分類 data-analysis,來源 community,發佈者爲 user_7f5af776。在 SkillHub 頁面上評分 100000,下載 862 次。

它的實現方式是運行 Python 腳本:接收用戶輸入的內容作爲搜索詞,對反爬網頁做截圖分析,對網頁中出現的文件做深度解析。

核心功能

官方簡介列出的能力有三項:

  1. 支持時間篩選:可以在搜索時限定時間範圍。
  2. 支持反爬讀取內容:對有反爬保護的網頁,採用截圖分析的方式獲取內容,而不是直接請求 HTML。
  3. 支持深度獲取內容:針對網頁中的文件做深度解析。

需要說明的是,線索資料中提到的多引擎搜索、統一輸出 5 字段、自動去重、遞歸抓取、OCR 識別,在已抓取的官方資料裏沒有對應描述,本文不採信,具體能力以官方頁面爲準。

安裝與啓用

已抓取資料中沒有提供安裝命令、目錄結構或配置字段,因此這裏無法給出可復現的安裝步驟。已知信息:

  • 官方地址:https://api.skillhub.cn/user_7f5af776/web-retriever
  • SkillHub 頁面:https://www.skillhub.cn/skills/user_7f5af776/web-retriever
  • 標籤 requires_api_key=false,說明按頁面標註不強制要求 API Key。

按通用 SKILL.md Skill 的慣例,使用方在 Agent 的 Skills 目錄中放置該 Skill 的目錄(含 SKILL.md 與腳本)即可被加載;具體目錄位置和加載方式取決於你使用的 Agent 宿主(Cursor、Codex CLI、Claude Code 等),資料中沒有給出對應說明,不逐一猜測。

典型用法

已抓取資料中沒有提供可復現的輸入輸出示例,本文不編造。按官方簡介的描述,其工作鏈路大致是:

  1. 用戶輸入內容作爲搜索關鍵詞;
  2. 腳本執行搜索,可按時間篩選;
  3. 對命中的反爬網頁截圖並分析其中的內容;
  4. 發現網頁中存在文件時,進一步深度解析。

適用場景與注意

適合需要把「搜索 + 正文提取 + 附件解析」串成一個流程的場景,比如資料調研、公開信息彙總、批量採集後的結構化。

注意事項:

  • 反爬網頁採用截圖分析,獲取的是截圖內容,輸出質量和原網頁的可讀性有關。
  • 「深度獲取內容」依賴網頁中確實存在可解析的文件,純文本頁面不涉及這一環節。
  • 來源爲 community,版本 1.0.0,使用前建議在官方頁面確認最新說明。
  • 評分、下載量等頁面數據以訪問時爲準,本文記錄的是已抓取資料中的數值。

結尾

這個 Skill 的價值在於把搜索、反爬讀取、文件深度解析三條鏈路合併到一個 Skill 裏,減少自己拼腳本的工作量。官方地址:https://api.skillhub.cn/user_7f5af776/web-retriever。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜