dsh-provider-rate-limit:DeepSeek Harness 按供應商/模型粒度的限速與網關僞裝插件

前言

DeepSeek Harness(DSH)作爲構建 AI 智能體的基礎框架,其核心設計理念是「一切皆插件」。在實際部署中,按供應商和模型粒度控制 LLM 流量頻率、管理 API 配額以及應對免費層級網關對客戶端身份的校驗,往往是開發者需要解決的運維難題。本文介紹一款能直接在 DSH 中落地的限速與客戶端僞裝插件。

插件定位

dsh-provider-rate-limit 是一個適用於 DeepSeek Harness 的管理類插件,由 jyao-SUSE-power-group 維護。它解決了 LLM 流量按供應商和模型粒度限速的問題,並提供了網關身份規則(客戶端僞裝)能力,以應對某些免費層級網關對客戶端身份的校驗。

核心能力

  • Token Bucket 限流算法:針對 (provider, model) 路由進行精細化限流,支持突發流量與空閒恢復。
  • 雙模式響應:當桶爲空時,支持 wait(排隊等待)和 reject(立即拒絕)兩種模式。
  • 嚴格 FIFO 機制:基於預留的設計,保證請求按到達順序 admission,無需輪詢。
  • 網關身份僞裝:通過 URL 模式匹配,重寫 User-Agent 或注入靜態頭,支持 dynamicIds 動態 ID 注入。
  • 全局控制與熱重載:提供總開關與本地化的設置 UI,配置修改後無需重啓即可生效。
  • 實時統計:在 Composer Dock 顯示實時統計行,支持懸停查看路由級詳細數據。提供 SSE 推送端點與 HTTP API。
  • 高性能路由查找:使用 Map 實現 O(1) 路由匹配。
  • 併發控制:支持 maxConcurrentRequests 配置,防止路由過載。

安裝與啓用

使用 DSH 插件管理器安裝該插件。

dsh plugin --profile web add github:jyao-SUSE-power-group/dsh-provider-rate-limit

安裝後重啓 DeepSeek Harness。插件會通過 cordis patch 向 llm 服務註冊。

配置與使用

進入 Settings → 插件 → Provider Rate Limit 進行配置,所有選項支持熱重載。

路由規則:按供應商/模型名稱的子字符串進行匹配,未匹配的流量使用全侷限制。例如,匹配 provider 爲 opencode 且 model 以 claude- 開頭的路由。

身份僞裝規則:針對特定 URL 模式,允許重寫 User-Agent 或注入靜態頭。例如,某些免費網關需要特定的客戶端標識才能通過。

統計查看:在聊天界面的 Composer Dock(輸入框下方)會顯示限流統計行。將鼠標懸停在該行上,可查看各路由的詳細請求數據。

注意事項

  • 插件以當前 DSH 進程的權限運行,請確保在安裝前檢查源碼與許可證。
  • 僅在擁有合法使用權限且符合服務條款的前提下,使用身份僞裝功能。

總結

該插件通過 Token Bucket 算法實現了平滑限流與突發流量支持,配合嚴格的 FIFO 機制保障了請求順序。若需瞭解更多或查閱源碼,可訪問插件目錄頁或 GitHub 倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜