DeepSeek Harness 動態插件:dsh-plugin-save-token

前言

DeepSeek Harness (DSH) 支持動態插件擴展。在智能體開發中,工具輸出的 JSON、CLI 表格或日誌往往直接進入對話上下文,導致 Token 成本隨對話輪次線性增長。dsh-plugin-save-token 是一個動態插件,旨在通過結構感知的壓縮和去重策略,在不降低模型推理質量的前提下降低 Token 成本。所有優化均遵循可逆原則,即任何替換必須能通過工具一鍵還原。

核心功能

插件實現了以下核心機制:

  1. 結構感知壓縮
    對管道分隔的高密度表格(≥70% 行共享相同分隔符),採用保留首 60 行和尾 40 行,並對中間部分進行步長採樣的策略。模型接收的版本包含原始行號標註(如 L61: ...),確保檢索的精確性。

  2. TOON 風格無損編碼
    對統一 JSON 數組(如包含 300 個同質對象的 API 響應)優先使用 TOON 格式進行無損編碼(如 prices[300]{model,input,output}:),僅在無損路徑不可用時才啓用有損壓縮。

  3. 壓縮-緩存-檢索 (CCR) 模式
    在每次替換前,將原始文本寫入磁盤(通過 dsh 的 spillStore)。壓縮後的內容嵌入兩個檢索路徑:動態工具 save_token_expand(通過 marker id 調用)以及文件定位符。

  4. 跨輪次去重
    對 90 秒時間窗口內字節完全相同的輸出,替換爲引用上一輪上下文的 Stub,防止重複內容堆積。

  5. 雙重門控機制
    只有同時滿足以下條件纔會生效:
    - Byte gate:壓縮後大小 ≤ 原始的 72%,且絕對節省 ≥ 500B。
    - Token gate:預估 Token 數嚴格小於原始數。
    任一條件不滿足則保留原內容。

  6. 錯誤行保護
    在日誌類輸出的壓縮區域,保留最多 25 行匹配 error/fatal/traceback/timeout 等關鍵詞的行。

  7. 壓縮壓力耦合
    在推理步驟邊界檢查上下文大小。當實際上下文超過 120k tokens 時,觸發 DSH 原生的 compaction.compactIfNeeded() 方法。

  8. 全鏈路計量與儀表盤
    攔截 llm/stream 事件,分別計量實際計費的 Token 和通過壓縮避免的 Token。在設置頁面提供雙面板儀表盤,展示 KPI、堆疊圖表和排行榜。

使用方式

插件爲 DSH 客戶端提供了動態工具 save_token_expand,用於根據 marker id 檢索壓縮後的內容。用戶可在設置頁面查看詳細的 KPI 和按請求的堆疊圖表。

適用場景與限制

  • 適用場景:當大型工具輸出(API JSON、CLI 表格)直接進入對話上下文時。
  • 不觸發場景:當智能體使用“寫入文件再讀取”的模式時,插件不會介入。
  • 前置條件:可逆性是硬性前提,如果磁盤寫入(spill)失敗,壓縮操作將被放棄。

生態與鏈接

  • 所有者:vibe-any
  • 許可證:MIT
  • 倉庫:GitHub
  • 目錄:SkillHub
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜