WebScout:Tavily 驅動的網頁搜索與抓取插件

前言

在 DeepSeek Harness(DSH)中構建智能體時,需要從網絡獲取最新信息或抓取特定頁面。手動調用搜索 API、解析結果或用 curl/requests 編寫抓取邏輯,會分散對核心邏輯的注意力。已有做法要麼依賴內置遠程服務,要麼需要自行維護多套搜索/抓取 provider。下面介紹 WebScout,它將 Tavily 的搜索與頁面抓取能力封裝爲兩個 provider,並通過設置卡片統一管理。

插件定位

WebScout(dsh-webscout)是 DeepSeek Harness 的聯網工具插件,由 Barry 維護。它爲 DSH 提供 Tavily 支持的網頁搜索和頁面抓取能力,通過兩個 provider 與設置卡片,把參數配置與憑證管理納入 DSH 的插件體系。

核心功能

搜索 provider:webscout

搜索 provider webscout 對接 Tavily 的 /search 接口,支持以下參數:

  • maxResults:結果數量,默認 5,範圍 1–20
  • searchDepth:搜索深度,默認 basic,可選 basic / advanced / fast / ultra-fast
  • topic:主題類型,默認 general,可選 general / news / finance
  • includeAnswer:是否包含答案模式,默認 true,可選 false / true / basic / advanced
  • includeRawContent:是否返回原始內容,默認 false,可選 false / markdown / text
  • chunksPerSource:每來源的塊數,默認 3,範圍 1–3
  • timeRange:時間範圍,可選 day / week / month / year
  • days:最近天數窗口
  • includeDomains / excludeDomains:域名白名單/黑名單,逗號或空格分隔
  • country:國家優先級
  • cacheTtlSeconds:緩存 TTL(秒),0 禁用緩存
  • cacheMaxEntries:緩存最大條目數,默認 200(LRU 限制)
  • cacheBypassFresh:對新聞/金融/時間窗口查詢跳過緩存,默認 true
  • engine:搜索引擎,默認 tavily,可選 tavily 或 deepseek
  • fallbackEngine:Tavily 不可用時的回退引擎,默認 none,可選 deepseek
  • citeFormat:引用格式,默認 plain,可選 plain 或 footnote

抓取 provider:webscout-fetch

抓取 provider webscout-fetch 可通過三種方式讀取頁面:

  • tavily:使用 Tavily Extract
  • http:直接 HTTP 請求
  • firecrawl:調用 Firecrawl API

配置項包括:

  • fetchMode:抓取模式,默認 tavily,可選 tavily / http / firecrawl
  • firecrawlApiKeyEnv:Firecrawl API Key 的環境變量名,默認 FIRECRAWL_API_KEY
  • firecrawlBaseURL:Firecrawl API 基礎地址,默認 https://api.firecrawl.dev/v1

其他能力

  • 密鑰輪換:支持多個憑證引用組成“環”,連續失敗 60 秒的密鑰會被隔離。
  • 回退機制:Tavily 不可用時,可配置回退到內置 DeepSeek provider。
  • 設置卡片:提供實時用量(Tavily /usage)、連接測試、搜索與抓取控制項,以及高級參數區。

安裝與啓用

  1. 獲取插件源碼到本地目錄(例如 /path/to/dsh-webscout)。
  2. 在 DSH 中安裝插件:
dsh plugin --profile <profile> add "file:/path/to/dsh-webscout"

該插件通過 bundle patch 將 webscout 註冊爲搜索 provider,將 webscout-fetch 註冊爲抓取 provider,因此設置卡片不會寫入外部服務的配置項。

典型用法

  1. 打開 DSH 設置:Settings → Plugins → WebScout search。
  2. 在卡片中配置搜索與抓取參數(參見上文字段表)。
  3. 在 TAVILY_API_KEY(或自定義引用)中填寫 Tavily API Key,系統將自動從本地憑證存儲讀取。
  4. 如需啓用 Firecrawl 抓取,設置 fetchMode 爲 firecrawl 並提供 firecrawlApiKeyEnv 指定的環境變量。
  5. 可在高級區調整緩存策略、引擎回退與引用格式。

適用場景與注意

  • 適合需要集成 Tavily 搜索與多種抓取方式(Tavily Extract、HTTP、Firecrawl)的 DSH 智能體開發場景。
  • 插件以當前 dsh 進程權限運行,安裝前應檢查源碼與許可證(MIT © 2026 Barry)。
  • 使用前需確認 Tavily API 配額與可用性,必要時配置回退引擎。

結尾

WebScout 將 Tavily 的搜索與抓取能力以 provider 形式接入 DeepSeek Harness,並提供統一的設置卡片與密鑰輪換、回退機制。如需瞭解更多細節或獲取源碼,可訪問插件目錄頁或 GitHub 倉庫。

參考資料

  • GitHub README:https://github.com/Barry-1212/dsh-webscout
  • 插件目錄頁:https://www.skillhub.cn/plugins/Barry-1212/dsh-webscout
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜