dsh-crw:DeepSeek Harness 的 fastCRW 檢索與抓取 provider

前言

DeepSeek Harness 把網頁訪問放在 ctx.web 這樣的 provider 接縫上:模型繼續使用 web_search / web_fetch,底層後端可以替換。dsh-crw 把這兩個工具接到 fastCRW 上,提供基於 fastCRW 的搜索與抓取 provider,並在抓取目標處理上把地址解析、校驗和私有網段拒絕放到 fastCRW 服務端。下面介紹它的定位、安裝和配置方式。

這是什麼

dsh-crw 是一個 DSH 插件,倉庫路徑爲 us/dsh-crw,package.json 版本爲 0.1.0,許可證爲 MIT。它在 DSH 的 ctx.web 中註冊 crw provider,提供基於 fastCRW 的 web_search provider 和 web_fetch provider。fastCRW 本身爲 AGPL-3.0。

核心功能

  • 在 DSH 的 ctx.web 中註冊 crw provider
  • 提供基於 fastCRW 的 web_search provider
  • 提供基於 fastCRW 的 web_fetch provider
  • 抓取目標由 fastCRW 服務端解析、校驗並拒絕私有網段
  • 按頁面需要,從普通 HTTP 升級到瀏覽器層
  • 搜索結果映射爲 url、title、snippet;沒有 url 的結果丟棄
  • 抓取返回 markdown
  • 可選 answer 配置,讓 fastCRW 基於結果合成答案

安裝與啓用

使用雲端 fastCRW

先設置 fastCRW API key,再安裝 dsh-crw,最後啓動默認 profile。

export CRW_API_KEY=...
dsh plugin --profile default add dsh-crw
dsh --profile default

使用雲端 endpoint 時 apiKey 必填。fastCRW 免費層爲一次性 500 credits,每頁消耗 1 credit。

使用自託管 fastCRW

如果 fastCRW 在本機運行,先啓動服務,再把插件的 baseURL 指到本地地址。

crw serve

配置示例如下:

baseURL: http://127.0.0.1:3002

自託管時 apiKey 可爲空。

從倉庫安裝

從倉庫安裝時,需要 pin commit,並按環境要求允許構建。

dsh plugin --profile default add github:us/dsh-crw#<sha>

安裝後,可以檢查默認 profile 的配置。

dsh --profile default --dump-config

配置與調用

搜索

web_search 的搜索結果會映射爲 url、title、snippet。如果某條結果沒有 url,會被丟棄。

如果希望搜索繼續使用 deepseek-official,同時讓抓取走 crw,可以這樣配置:

searchProvider: deepseek-official
fetchProvider: crw

抓取

web_fetch 的抓取結果返回 markdown。maxBodyChars 默認值爲 100000。

對於 404 目標,fastCRW 可能報告 success:false,但仍返回已獲取內容。

answer

answer 可讓 fastCRW 基於結果合成答案。開啓後,每次搜索會增加一次 LLM 調用。

注意

  • 插件以當前 dsh 進程權限運行;安裝前應先檢查源碼與許可證。
  • dsh-crw 許可證爲 MIT;fastCRW 爲 AGPL-3.0。
  • 使用雲端 endpoint 時,需要有效 CRW_API_KEY;自託管時 apiKey 可爲空。
  • answer 開啓後,會增加一次 LLM 調用。
  • 從倉庫安裝時,需要 pin commit 並允許構建。

鏈接

  • 插件目錄:https://www.skillhub.cn/plugins/us/dsh-crw
  • GitHub:https://github.com/us/dsh-crw
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜