前言¶
DeepSeek Harness (DSH) 支持动态插件扩展。在智能体开发中,工具输出的 JSON、CLI 表格或日志往往直接进入对话上下文,导致 Token 成本随对话轮次线性增长。dsh-plugin-save-token 是一个动态插件,旨在通过结构感知的压缩和去重策略,在不降低模型推理质量的前提下降低 Token 成本。所有优化均遵循可逆原则,即任何替换必须能通过工具一键还原。
核心功能¶
插件实现了以下核心机制:
-
结构感知压缩
对管道分隔的高密度表格(≥70% 行共享相同分隔符),采用保留首 60 行和尾 40 行,并对中间部分进行步长采样的策略。模型接收的版本包含原始行号标注(如L61: ...),确保检索的精确性。 -
TOON 风格无损编码
对统一 JSON 数组(如包含 300 个同质对象的 API 响应)优先使用 TOON 格式进行无损编码(如prices[300]{model,input,output}:),仅在无损路径不可用时才启用有损压缩。 -
压缩-缓存-检索 (CCR) 模式
在每次替换前,将原始文本写入磁盘(通过 dsh 的spillStore)。压缩后的内容嵌入两个检索路径:动态工具save_token_expand(通过 marker id 调用)以及文件定位符。 -
跨轮次去重
对 90 秒时间窗口内字节完全相同的输出,替换为引用上一轮上下文的 Stub,防止重复内容堆积。 -
双重门控机制
只有同时满足以下条件才会生效:
- Byte gate:压缩后大小 ≤ 原始的 72%,且绝对节省 ≥ 500B。
- Token gate:预估 Token 数严格小于原始数。
任一条件不满足则保留原内容。 -
错误行保护
在日志类输出的压缩区域,保留最多 25 行匹配error/fatal/traceback/timeout等关键词的行。 -
压缩压力耦合
在推理步骤边界检查上下文大小。当实际上下文超过 120k tokens 时,触发 DSH 原生的compaction.compactIfNeeded()方法。 -
全链路计量与仪表盘
拦截llm/stream事件,分别计量实际计费的 Token 和通过压缩避免的 Token。在设置页面提供双面板仪表盘,展示 KPI、堆叠图表和排行榜。
使用方式¶
插件为 DSH 客户端提供了动态工具 save_token_expand,用于根据 marker id 检索压缩后的内容。用户可在设置页面查看详细的 KPI 和按请求的堆叠图表。
适用场景与限制¶
- 适用场景:当大型工具输出(API JSON、CLI 表格)直接进入对话上下文时。
- 不触发场景:当智能体使用“写入文件再读取”的模式时,插件不会介入。
- 前置条件:可逆性是硬性前提,如果磁盘写入(spill)失败,压缩操作将被放弃。