前言¶
DeepSeek Harness 的核心設計理念是“一切皆插件”,通過解耦功能模塊來擴展智能體的能力邊界。當本地推理模型(如 Qwen 2.5/3.8 27B 或 DeepSeek R1/V3)在本地運行時,面對有限的上下文窗口(32k–90k tokens),直接進行網絡抓取往往會導致 Token 氾濫和模型注意力稀釋。dsh-webstack 旨在解決本地部署場景下的聯網需求,通過封裝 SearXNG 和 Scrapling,爲 DeepSeek Harness 提供企業級的元搜索與隱身抓取能力。
插件定位¶
該插件由 QuantumKuba 維護,屬於“聯網工具”類別。它是一個爲 DeepSeek Harness (ctx.web) 設計的高級能力包,主要解決本地模型在獲取外部信息時的兩個痛點:一是上下文污染,二是安全與反爬蟲。它不直接暴露複雜的 HTTP 細節,而是通過標準化的 Provider 接口與 Cordis ctx.web Runtime 交互。
核心能力¶
插件主要包含以下技術實現:
-
搜索與抓取集成
集成 SearXNG 進行元搜索,集成 Scrapling 進行抗反爬蟲內容獲取。模型通過原生web_search和web_fetch模式調用,無需感知底層差異。 -
多層級獲取管道
針對不同複雜度的目標網站,系統自動選擇最優抓取策略:- Tier 1 (默認):使用
curl_cffi模擬 Chrome TLS 指紋,針對文檔、API、博客等靜態或簡單頁面(平均耗時 531ms)。 - Tier 2 (動態):使用 Playwright Headless Chrome 處理客戶端渲染的 SPA(平均耗時 2,088ms)。
- Tier 3 (隱身):使用
StealthyFetcher處理 Cloudflare Turnstile 等高級反爬蟲挑戰(平均耗時 1,669ms)。
- Tier 1 (默認):使用
-
SSRF 安全防護
在發起網絡請求前執行嚴格的預檢邏輯,確保安全:- DNS 預檢:驗證目標地址合法性。
- 私有子網攔截:阻斷迴環地址、RFC 1918 私有地址及雲元數據端點。
- 同源重定向鎖:嚴格限制跨域/跨協議重定向。
安全檢查耗時 < 0.2ms,在發起實際連接前即可攔截風險請求。
-
上下文優化
原始 HTML 包含大量冗餘代碼。插件利用 Harness 的 Turndown 管道將內容轉換爲 GitHub-Flavored Markdown (GFM),73.1% 的 Token 節省率意味着原本需要 32.6k tokens 的 HTML,現在僅需約 8.8k tokens 即可表達完整語義,使本地大模型能處理更多文檔。 -
反爬蟲對抗
集成 Cloudflare Turnstile 自動求解器,並注入 Chromium canvas 噪聲、抑制 WebRTC 泄露,模擬真實瀏覽器行爲以通過指紋檢測。
安裝與依賴¶
根據已覈實的事實,插件未提供明確的安裝命令。使用前需確認環境滿足以下要求:
- Node.js 版本:
>= 22.18.0 - Peer Dependencies:
@deepseek-ai/cordis(版本範圍>=4.0.0 <5)@deepseek-ai/dsh-web(版本^0.1.5-rc.2)
獲取方式請參考插件目錄或 GitHub 倉庫:github.com/QuantumKuba/dsh-webstack
使用方式¶
插件通過 Cordis ctx.web Runtime 與 Provider 交互。模型開發者無需修改代碼,只需在 Harness 配置中啓用相應的 Provider 即可。
- 搜索:使用
searxngProvider。 - 獲取:使用
scraplingProvider。
配置完成後,模型可繼續使用 DeepSeek Harness 原生的 web_search 和 web_fetch 模式,底層自動調用上述多層級管道。
注意事項¶
- 輸出限制:單次獲取的輸出最大字符限制爲 50,000,防止上下文溢出。
- 運行權限:插件以當前 DeepSeek Harness 進程的權限運行。在安裝使用前,建議檢查源碼與許可證(MIT)。
- 生態背景:本插件屬於社區目錄收錄項目,與 DeepSeek 或幻方官方無直接從屬關係。
總結¶
dsh-webstack 通過多層級管道和嚴格的 SSRF 防護,解決了本地模型在聯網場景下的效率與安全問題。配合 73.1% 的 Token 節省優化,它爲在有限上下文窗口內運行的本地大模型提供了可靠的“外掛大腦”。