WebScout:Tavily 驱动的网页搜索与抓取插件

前言

在 DeepSeek Harness(DSH)中构建智能体时,需要从网络获取最新信息或抓取特定页面。手动调用搜索 API、解析结果或用 curl/requests 编写抓取逻辑,会分散对核心逻辑的注意力。已有做法要么依赖内置远程服务,要么需要自行维护多套搜索/抓取 provider。下面介绍 WebScout,它将 Tavily 的搜索与页面抓取能力封装为两个 provider,并通过设置卡片统一管理。

插件定位

WebScout(dsh-webscout)是 DeepSeek Harness 的联网工具插件,由 Barry 维护。它为 DSH 提供 Tavily 支持的网页搜索和页面抓取能力,通过两个 provider 与设置卡片,把参数配置与凭证管理纳入 DSH 的插件体系。

核心功能

搜索 provider:webscout

搜索 provider webscout 对接 Tavily 的 /search 接口,支持以下参数:

  • maxResults:结果数量,默认 5,范围 1–20
  • searchDepth:搜索深度,默认 basic,可选 basic / advanced / fast / ultra-fast
  • topic:主题类型,默认 general,可选 general / news / finance
  • includeAnswer:是否包含答案模式,默认 true,可选 false / true / basic / advanced
  • includeRawContent:是否返回原始内容,默认 false,可选 false / markdown / text
  • chunksPerSource:每来源的块数,默认 3,范围 1–3
  • timeRange:时间范围,可选 day / week / month / year
  • days:最近天数窗口
  • includeDomains / excludeDomains:域名白名单/黑名单,逗号或空格分隔
  • country:国家优先级
  • cacheTtlSeconds:缓存 TTL(秒),0 禁用缓存
  • cacheMaxEntries:缓存最大条目数,默认 200(LRU 限制)
  • cacheBypassFresh:对新闻/金融/时间窗口查询跳过缓存,默认 true
  • engine:搜索引擎,默认 tavily,可选 tavily 或 deepseek
  • fallbackEngine:Tavily 不可用时的回退引擎,默认 none,可选 deepseek
  • citeFormat:引用格式,默认 plain,可选 plain 或 footnote

抓取 provider:webscout-fetch

抓取 provider webscout-fetch 可通过三种方式读取页面:

  • tavily:使用 Tavily Extract
  • http:直接 HTTP 请求
  • firecrawl:调用 Firecrawl API

配置项包括:

  • fetchMode:抓取模式,默认 tavily,可选 tavily / http / firecrawl
  • firecrawlApiKeyEnv:Firecrawl API Key 的环境变量名,默认 FIRECRAWL_API_KEY
  • firecrawlBaseURL:Firecrawl API 基础地址,默认 https://api.firecrawl.dev/v1

其他能力

  • 密钥轮换:支持多个凭证引用组成“环”,连续失败 60 秒的密钥会被隔离。
  • 回退机制:Tavily 不可用时,可配置回退到内置 DeepSeek provider。
  • 设置卡片:提供实时用量(Tavily /usage)、连接测试、搜索与抓取控制项,以及高级参数区。

安装与启用

  1. 获取插件源码到本地目录(例如 /path/to/dsh-webscout)。
  2. 在 DSH 中安装插件:
dsh plugin --profile <profile> add "file:/path/to/dsh-webscout"

该插件通过 bundle patch 将 webscout 注册为搜索 provider,将 webscout-fetch 注册为抓取 provider,因此设置卡片不会写入外部服务的配置项。

典型用法

  1. 打开 DSH 设置:Settings → Plugins → WebScout search。
  2. 在卡片中配置搜索与抓取参数(参见上文字段表)。
  3. 在 TAVILY_API_KEY(或自定义引用)中填写 Tavily API Key,系统将自动从本地凭证存储读取。
  4. 如需启用 Firecrawl 抓取,设置 fetchMode 为 firecrawl 并提供 firecrawlApiKeyEnv 指定的环境变量。
  5. 可在高级区调整缓存策略、引擎回退与引用格式。

适用场景与注意

  • 适合需要集成 Tavily 搜索与多种抓取方式(Tavily Extract、HTTP、Firecrawl)的 DSH 智能体开发场景。
  • 插件以当前 dsh 进程权限运行,安装前应检查源码与许可证(MIT © 2026 Barry)。
  • 使用前需确认 Tavily API 配额与可用性,必要时配置回退引擎。

结尾

WebScout 将 Tavily 的搜索与抓取能力以 provider 形式接入 DeepSeek Harness,并提供统一的设置卡片与密钥轮换、回退机制。如需了解更多细节或获取源码,可访问插件目录页或 GitHub 仓库。

参考资料

  • GitHub README:https://github.com/Barry-1212/dsh-webscout
  • 插件目录页:https://www.skillhub.cn/plugins/Barry-1212/dsh-webscout
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye