前言¶
在使用 DeepSeek Harness (DSH) 进行开发时,开发者常需要监控模型的推理过程和性能指标。虽然 DSH 原生界面提供了基础信息,但在流式输出时,关于推理进度、首 Token 延迟以及每秒 Token 生成速率的实时数据往往不够直观。
dsh-response-meta 插件旨在解决这一痛点,通过在 Web 界面的回复流中直接嵌入一个轻量级的运行时摘要,让开发者无需离开界面即可掌握模型状态。
插件定位¶
dsh-response-meta 是一个 DSH Web 插件。它为每条模型回复添加一个实时运行时摘要,包含模型名称、推理程度、每秒 Token 数、时间戳、总运行时间和首 Token 延迟。该摘要在模型响应时即时显示并随数据流更新,不会等待回复完成。
核心功能¶
- 实时摘要更新:在流式输出过程中,实时显示模型、推理程度和估算的吞吐量(tokens/s)。
- 完整指标展示:回复完成后,展示模型名称、tokens/s、时间戳、总运行时间以及 TTFT(首 Token 时间)。
- UI 优化:自动隐藏重复的原生助手时间戳,保留用户消息时间戳和原生使用详情按钮。
- 中断支持:对于手动中断的回复(包括在推理阶段中断),也会在消息流中显示摘要。
安装与配置¶
插件需要 DSH 0.1.5-rc.1 版本配合 Web 配置文件运行。v0.4.0 版本优化了对瞬态事件和打包流的处理。
- 执行安装命令:
dsh plugin --profile web add github:Unintendedz/dsh-response-meta#v0.4.0
- 安装完成后,必须重启正在运行的 DSH Web 服务才能加载新插件。
使用示例¶
插件会在回复流中根据状态显示不同的摘要内容:
- 流式输出中:
deepseek-v4-pro · 思考 1.5k 字 · ~42 tok/s - 回复完成:
deepseek-v4-pro · 思考 15 tok · 46 tok/s · 14:16 · 用时 2分24秒 · 首 token 2.1秒 - 中断回复:
deepseek-v4-pro · 思考 1.5k 字
注意事项¶
- 版本依赖:需要 DSH 0.1.5-rc.1 及以上版本。
- 渲染逻辑:缺失的字段会被省略。当所有字段均不可用时,不会进行任何渲染。
- 模型继承:后续轮次如果没有新的请求头,会继承最近已知的模型名称。