dsh-crw:DeepSeek Harness 的 fastCRW 检索与抓取 provider

前言

DeepSeek Harness 把网页访问放在 ctx.web 这样的 provider 接缝上:模型继续使用 web_search / web_fetch,底层后端可以替换。dsh-crw 把这两个工具接到 fastCRW 上,提供基于 fastCRW 的搜索与抓取 provider,并在抓取目标处理上把地址解析、校验和私有网段拒绝放到 fastCRW 服务端。下面介绍它的定位、安装和配置方式。

这是什么

dsh-crw 是一个 DSH 插件,仓库路径为 us/dsh-crwpackage.json 版本为 0.1.0,许可证为 MIT。它在 DSH 的 ctx.web 中注册 crw provider,提供基于 fastCRW 的 web_search provider 和 web_fetch provider。fastCRW 本身为 AGPL-3.0

核心功能

  • 在 DSH 的 ctx.web 中注册 crw provider
  • 提供基于 fastCRW 的 web_search provider
  • 提供基于 fastCRW 的 web_fetch provider
  • 抓取目标由 fastCRW 服务端解析、校验并拒绝私有网段
  • 按页面需要,从普通 HTTP 升级到浏览器层
  • 搜索结果映射为 urltitlesnippet;没有 url 的结果丢弃
  • 抓取返回 markdown
  • 可选 answer 配置,让 fastCRW 基于结果合成答案

安装与启用

使用云端 fastCRW

先设置 fastCRW API key,再安装 dsh-crw,最后启动默认 profile。

export CRW_API_KEY=...
dsh plugin --profile default add dsh-crw
dsh --profile default

使用云端 endpoint 时 apiKey 必填。fastCRW 免费层为一次性 500 credits,每页消耗 1 credit

使用自托管 fastCRW

如果 fastCRW 在本机运行,先启动服务,再把插件的 baseURL 指到本地地址。

crw serve

配置示例如下:

baseURL: http://127.0.0.1:3002

自托管时 apiKey 可为空。

从仓库安装

从仓库安装时,需要 pin commit,并按环境要求允许构建。

dsh plugin --profile default add github:us/dsh-crw#<sha>

安装后,可以检查默认 profile 的配置。

dsh --profile default --dump-config

配置与调用

搜索

web_search 的搜索结果会映射为 urltitlesnippet。如果某条结果没有 url,会被丢弃。

如果希望搜索继续使用 deepseek-official,同时让抓取走 crw,可以这样配置:

searchProvider: deepseek-official
fetchProvider: crw

抓取

web_fetch 的抓取结果返回 markdownmaxBodyChars 默认值为 100000

对于 404 目标,fastCRW 可能报告 success:false,但仍返回已获取内容。

answer

answer 可让 fastCRW 基于结果合成答案。开启后,每次搜索会增加一次 LLM 调用。

注意

  • 插件以当前 dsh 进程权限运行;安装前应先检查源码与许可证。
  • dsh-crw 许可证为 MIT;fastCRW 为 AGPL-3.0
  • 使用云端 endpoint 时,需要有效 CRW_API_KEY;自托管时 apiKey 可为空。
  • answer 开启后,会增加一次 LLM 调用。
  • 从仓库安装时,需要 pin commit 并允许构建。

链接

  • 插件目录:https://www.skillhub.cn/plugins/us/dsh-crw
  • GitHub:https://github.com/us/dsh-crw
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜