dsh-cache-warmer:DeepSeek Harness 插件

DeepSeek Harness (DSH) 的核心架構是“一切皆插件”。在進行模型推理和智能體開發時,Prompt 緩存是降低延遲和推理成本的關鍵。dsh-cache-warmer 作爲一個插件,旨在通過估算緩存時間、觀察已緩存 Token 使用量,以及提供可選的成本感知預熱功能,幫助開發者更好地管理推理會話。

核心功能

該插件提供以下能力:

  • 緩存時間估算:使用 draining ring 機制估算 Prompt 緩存的剩餘時間。
  • Token 使用觀察:顯示當前會話中已緩存的 Token 數量。
  • 成本感知預熱:在成本允許的情況下,主動發起預熱請求以延長緩存有效期。
  • 模型兼容性:只要模型兼容文本對話,無論提供者名稱如何,均可進行預熱(非 pi-ai 路由僅支持觀察模式)。
  • 界面與配置:設置僅存在於 “Plugins → Cache warmer” 菜單中,提供中英文 UI 和原生樣式的開關控件。

安裝與使用

安裝官方發佈的最新版本(v0.1.7):

dsh plugin --profile web add 'https://github.com/yoggu/dsh-cache-warmer.git#v0.1.7'

若需本地調試,可鏈接本地檢出目錄:

git clone --branch v0.1.7 --depth 1 https://github.com/yoggu/dsh-cache-warmer.git
cd dsh-cache-warmer
dsh plugin --profile web add "link:$(pwd)"

安裝或替換版本後,必須重啓 DSH 並刷新瀏覽器。更新或安裝插件本身不會自動發送預熱請求。

適用場景與注意事項

環境要求

插件運行需要兼容的 Harness 運行時環境,包括:
* 標準的大語言模型服務
* 會話投影服務
* 憑證和存儲服務
* 插件自帶的 pi-ai 適配器

原生預熱邏輯已針對 llm-pi-ai 0.2.0-rc.2 和 pi-ai 0.99.1 進行審查。如果適配器或序列化器版本不同,插件將進入“失敗關閉”狀態(即不發送預熱請求)。

默認行爲

  • 默認關閉:插件默認處於關閉狀態,需要手動開啓。
  • 生命週期:基於最後一次“真實”的模型請求計時,而非頁面刷新或工具執行完成時間。
  • 子會話:子會話(subagent)不會自動預熱。

模型與緩存策略

在 “Plugins → Cache warmer → Model cache policies” 中配置模型策略。該頁面會自動列出所有已註冊 Harness 提供者(包括 Codex 賬號、pi-ai 提供者)的模型。
* 發現機制:提供者共享 5 秒發現截止期,瀏覽器設置和模型列表讀取有 10 秒超時並支持重試。
* 配置項:
* Enable warming:允許對該模型預熱。關閉後保留其壽命設置。
* Estimated cache lifetime (minutes):整數 1-10080。留空表示“未知”,此時即使開啓預熱也不會發送請求。
* Reset to default:恢復默認值。
* 保存機制:僅保存用戶自定義的覆蓋規則(最多 100 條),不保存自動發現的目錄。保存設置會取消已捕獲的目標,需要新的真實請求才能恢復預熱。

限制與特殊情況

  • Codex / OAuth:Codex 或簽名響應路由不保證服務器端輸出上限。需要在插件設置中單獨開啓 “Allow best-effort warming (Codex / OAuth)”。
  • 客戶端取消:客戶端取消操作不能保證隱藏的推理或提供者生成已停止。
  • 價格估算:價格估算不是實際消費或配額上限。
  • Bedrock:由於 AWS Bedrock 的原生 SDK 無法通過此接口禁用重試,目前不可用。
  • 緩存壽命假設:插件不依賴提供者報告的壽命或內置的 Codex 壽命,所有壽命均爲本地規劃假設。

總結

dsh-cache-warmer 爲 DeepSeek Harness 用戶提供了精細化的 Prompt 緩存管理能力,特別是針對成本和延遲的優化。開發者可以通過插件菜單對模型策略進行細緻配置,實現可控的緩存預熱。更多技術細節可查閱 GitHub 倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜