dsh-crw：基於 fastCRW 的 DeepSeek Harness 網絡請求插件

前言¶

DeepSeek Harness (DSH) 將網絡訪問定義爲能力邊界 (ctx.web)，並支持可插拔提供者。基礎層啓用了搜索 (web_search)，但默認禁用了抓取 (web_fetch)，理由是缺乏 SSRF 防護且存在安全風險。dsh-crw 註冊了兩個提供者 (crw)，通過 fastCRW 後端實現服務端驗證和內容抓取，從而允許安全地啓用 fetch 功能，並解決 Cloudflare 等現代反爬牆問題。

插件介紹¶

名稱：dsh-crw
維護者：fastcrw
定位：爲 DeepSeek Harness (ctx.web) 提供基於 fastCRW 的 web_search 和 web_fetch 提供者。

基礎的 HTTP 抓取提供者在 Harness 進程中直接運行 fetch()，未阻止私有 IP 範圍（如 169.254.169.254）或執行 DNS 檢查，導致模型可能訪問雲元數據端點。fastCRW 在服務端解析和驗證目標服務器，拒絕私有範圍，確保 Harness 進程不會打開模型選擇的連接。此外，該插件解決了 Cloudflare 等現代牆的訪問問題，能夠通過瀏覽器層處理複雜挑戰。

核心功能¶

web_search：提供網絡搜索能力。
web_fetch：啓用抓取並提供安全保護。
SSRF protection：拒絕訪問私有 IP、環回地址、鏈路本地地址或多播範圍。
Markdown format：以 Markdown 格式返回抓取內容。
Self-hosting support：支持在本地運行 fastCRW 引擎。

安裝與啓用¶

安裝此插件需要先獲取 fastCRW API 密鑰，然後將其添加到 DSH 配置中。

獲取 API 密鑰：

    export CRW_API_KEY=...

（注：fastcrw.com 提供一次性 500 積分的免費額度，無需信用卡）。

安裝插件：

    dsh plugin --profile default add dsh-crw

配置提供者：
在配置文件（如 cordis.patch.yml）中，將搜索和抓取提供者指向 crw。默認情況下，基礎層禁用抓取；此插件通過啓用它並添加 SSRF 保護來修復此問題。

    - id: web
      config:
        searchProvider: crw
        fetchProvider: crw

典型用法¶

通過將提供者指向 crw，模型可以使用與內置工具相同的 web_search 和 web_fetch 工具，但後端已更改。

# 設置 API 密鑰
export CRW_API_KEY=your_api_key_here

# 安裝插件
dsh plugin --profile default add dsh-crw

# 啓動 Harness
dsh --profile default

適用場景與注意¶

適用場景：需要可靠抓取網頁內容（Markdown 格式）的場景，特別是那些有 Cloudflare 或 JS 挑戰的目標。需要安全抓取（SSRF 保護）以防止模型訪問內部資源的場景。
注意事項：
- 默認情況下，DSH 基礎層禁用抓取。此插件將其啓用。
- 雲端端點需要 CRW_API_KEY。自託管端點不需要。
- 該插件處理 Cloudflare 和 JS 挑戰，但交互式挑戰有時仍會失敗。
- 它是 MIT 許可證。

結尾¶

dsh-crw 爲 DeepSeek Harness 提供了安全、基於 Markdown 的網絡抓取能力。它通過在服務端處理 SSRF 防護和反爬牆，使模型能夠安全地訪問開放網絡。