前言¶
DeepSeek Harness (DSH) 支持動態插件擴展。在智能體開發中,工具輸出的 JSON、CLI 表格或日誌往往直接進入對話上下文,導致 Token 成本隨對話輪次線性增長。dsh-plugin-save-token 是一個動態插件,旨在通過結構感知的壓縮和去重策略,在不降低模型推理質量的前提下降低 Token 成本。所有優化均遵循可逆原則,即任何替換必須能通過工具一鍵還原。
核心功能¶
插件實現了以下核心機制:
-
結構感知壓縮
對管道分隔的高密度表格(≥70% 行共享相同分隔符),採用保留首 60 行和尾 40 行,並對中間部分進行步長採樣的策略。模型接收的版本包含原始行號標註(如L61: ...),確保檢索的精確性。 -
TOON 風格無損編碼
對統一 JSON 數組(如包含 300 個同質對象的 API 響應)優先使用 TOON 格式進行無損編碼(如prices[300]{model,input,output}:),僅在無損路徑不可用時才啓用有損壓縮。 -
壓縮-緩存-檢索 (CCR) 模式
在每次替換前,將原始文本寫入磁盤(通過 dsh 的spillStore)。壓縮後的內容嵌入兩個檢索路徑:動態工具save_token_expand(通過 marker id 調用)以及文件定位符。 -
跨輪次去重
對 90 秒時間窗口內字節完全相同的輸出,替換爲引用上一輪上下文的 Stub,防止重複內容堆積。 -
雙重門控機制
只有同時滿足以下條件纔會生效:
- Byte gate:壓縮後大小 ≤ 原始的 72%,且絕對節省 ≥ 500B。
- Token gate:預估 Token 數嚴格小於原始數。
任一條件不滿足則保留原內容。 -
錯誤行保護
在日誌類輸出的壓縮區域,保留最多 25 行匹配error/fatal/traceback/timeout等關鍵詞的行。 -
壓縮壓力耦合
在推理步驟邊界檢查上下文大小。當實際上下文超過 120k tokens 時,觸發 DSH 原生的compaction.compactIfNeeded()方法。 -
全鏈路計量與儀表盤
攔截llm/stream事件,分別計量實際計費的 Token 和通過壓縮避免的 Token。在設置頁面提供雙面板儀表盤,展示 KPI、堆疊圖表和排行榜。
使用方式¶
插件爲 DSH 客戶端提供了動態工具 save_token_expand,用於根據 marker id 檢索壓縮後的內容。用戶可在設置頁面查看詳細的 KPI 和按請求的堆疊圖表。
適用場景與限制¶
- 適用場景:當大型工具輸出(API JSON、CLI 表格)直接進入對話上下文時。
- 不觸發場景:當智能體使用“寫入文件再讀取”的模式時,插件不會介入。
- 前置條件:可逆性是硬性前提,如果磁盤寫入(spill)失敗,壓縮操作將被放棄。