dsh-response-meta:DeepSeek Harness 实时回复元数据插件

前言

在使用 DeepSeek Harness (DSH) 进行开发时,开发者常需要监控模型的推理过程和性能指标。虽然 DSH 原生界面提供了基础信息,但在流式输出时,关于推理进度、首 Token 延迟以及每秒 Token 生成速率的实时数据往往不够直观。

dsh-response-meta 插件旨在解决这一痛点,通过在 Web 界面的回复流中直接嵌入一个轻量级的运行时摘要,让开发者无需离开界面即可掌握模型状态。

插件定位

dsh-response-meta 是一个 DSH Web 插件。它为每条模型回复添加一个实时运行时摘要,包含模型名称、推理程度、每秒 Token 数、时间戳、总运行时间和首 Token 延迟。该摘要在模型响应时即时显示并随数据流更新,不会等待回复完成。

核心功能

  • 实时摘要更新:在流式输出过程中,实时显示模型、推理程度和估算的吞吐量(tokens/s)。
  • 完整指标展示:回复完成后,展示模型名称、tokens/s、时间戳、总运行时间以及 TTFT(首 Token 时间)。
  • UI 优化:自动隐藏重复的原生助手时间戳,保留用户消息时间戳和原生使用详情按钮。
  • 中断支持:对于手动中断的回复(包括在推理阶段中断),也会在消息流中显示摘要。

安装与配置

插件需要 DSH 0.1.5-rc.1 版本配合 Web 配置文件运行。v0.4.0 版本优化了对瞬态事件和打包流的处理。

  1. 执行安装命令:
    dsh plugin --profile web add github:Unintendedz/dsh-response-meta#v0.4.0
  1. 安装完成后,必须重启正在运行的 DSH Web 服务才能加载新插件。

使用示例

插件会在回复流中根据状态显示不同的摘要内容:

  • 流式输出中:
    deepseek-v4-pro · 思考 1.5k 字 · ~42 tok/s
  • 回复完成:
    deepseek-v4-pro · 思考 15 tok · 46 tok/s · 14:16 · 用时 2分24秒 · 首 token 2.1秒
  • 中断回复:
    deepseek-v4-pro · 思考 1.5k 字

注意事项

  • 版本依赖:需要 DSH 0.1.5-rc.1 及以上版本。
  • 渲染逻辑:缺失的字段会被省略。当所有字段均不可用时,不会进行任何渲染。
  • 模型继承:后续轮次如果没有新的请求头,会继承最近已知的模型名称。
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜