dsh-cache-warmer:DeepSeek Harness 插件

DeepSeek Harness (DSH) 的核心架构是“一切皆插件”。在进行模型推理和智能体开发时,Prompt 缓存是降低延迟和推理成本的关键。dsh-cache-warmer 作为一个插件,旨在通过估算缓存时间、观察已缓存 Token 使用量,以及提供可选的成本感知预热功能,帮助开发者更好地管理推理会话。

核心功能

该插件提供以下能力:

  • 缓存时间估算:使用 draining ring 机制估算 Prompt 缓存的剩余时间。
  • Token 使用观察:显示当前会话中已缓存的 Token 数量。
  • 成本感知预热:在成本允许的情况下,主动发起预热请求以延长缓存有效期。
  • 模型兼容性:只要模型兼容文本对话,无论提供者名称如何,均可进行预热(非 pi-ai 路由仅支持观察模式)。
  • 界面与配置:设置仅存在于 “Plugins → Cache warmer” 菜单中,提供中英文 UI 和原生样式的开关控件。

安装与使用

安装官方发布的最新版本(v0.1.7):

dsh plugin --profile web add 'https://github.com/yoggu/dsh-cache-warmer.git#v0.1.7'

若需本地调试,可链接本地检出目录:

git clone --branch v0.1.7 --depth 1 https://github.com/yoggu/dsh-cache-warmer.git
cd dsh-cache-warmer
dsh plugin --profile web add "link:$(pwd)"

安装或替换版本后,必须重启 DSH 并刷新浏览器。更新或安装插件本身不会自动发送预热请求。

适用场景与注意事项

环境要求

插件运行需要兼容的 Harness 运行时环境,包括:
* 标准的大语言模型服务
* 会话投影服务
* 凭证和存储服务
* 插件自带的 pi-ai 适配器

原生预热逻辑已针对 llm-pi-ai 0.2.0-rc.2 和 pi-ai 0.99.1 进行审查。如果适配器或序列化器版本不同,插件将进入“失败关闭”状态(即不发送预热请求)。

默认行为

  • 默认关闭:插件默认处于关闭状态,需要手动开启。
  • 生命周期:基于最后一次“真实”的模型请求计时,而非页面刷新或工具执行完成时间。
  • 子会话:子会话(subagent)不会自动预热。

模型与缓存策略

在 “Plugins → Cache warmer → Model cache policies” 中配置模型策略。该页面会自动列出所有已注册 Harness 提供者(包括 Codex 账号、pi-ai 提供者)的模型。
* 发现机制:提供者共享 5 秒发现截止期,浏览器设置和模型列表读取有 10 秒超时并支持重试。
* 配置项:
* Enable warming:允许对该模型预热。关闭后保留其寿命设置。
* Estimated cache lifetime (minutes):整数 1-10080。留空表示“未知”,此时即使开启预热也不会发送请求。
* Reset to default:恢复默认值。
* 保存机制:仅保存用户自定义的覆盖规则(最多 100 条),不保存自动发现的目录。保存设置会取消已捕获的目标,需要新的真实请求才能恢复预热。

限制与特殊情况

  • Codex / OAuth:Codex 或签名响应路由不保证服务器端输出上限。需要在插件设置中单独开启 “Allow best-effort warming (Codex / OAuth)”。
  • 客户端取消:客户端取消操作不能保证隐藏的推理或提供者生成已停止。
  • 价格估算:价格估算不是实际消费或配额上限。
  • Bedrock:由于 AWS Bedrock 的原生 SDK 无法通过此接口禁用重试,目前不可用。
  • 缓存寿命假设:插件不依赖提供者报告的寿命或内置的 Codex 寿命,所有寿命均为本地规划假设。

总结

dsh-cache-warmer 为 DeepSeek Harness 用户提供了精细化的 Prompt 缓存管理能力,特别是针对成本和延迟的优化。开发者可以通过插件菜单对模型策略进行细致配置,实现可控的缓存预热。更多技术细节可查阅 GitHub 仓库。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜