dsh-tokmeter:DSH Web UI 实时解码速度指示器

前言

在使用 DeepSeek Harness(DSH)的 Web UI 生成长文本或长推理链时,开发者需要直观地掌握当前模型的解码速度。默认状态栏只会在一轮对话结束后显示该轮的平均速度,无法反映正在流式生成过程中的实时吞吐。

是什么

dsh-tokmeter 是一个 DSH 客户端插件,为 Web UI 添加一个实时解码速度指示器(tok/s),显示在对话编辑器 dock 的状态栏中。该插件由 Toximiner 维护,开源 MIT 许可证,无需构建步骤,直接通过 DSH 插件命令安装。

核心功能

  • 在模型流式生成过程中,实时显示当前解码速度(tok/s)
  • 指示器为一个小的闪电图标 pill,显示在状态栏中
  • 采样间隔为 250 ms,基于字符增长估算 token 数(约 4 字符/ token)
  • 使用指数移动平均平滑数值:rate = 0.7 * previous + 0.3 * (Δchars / 4) / Δt
  • 生成结束后约 2.5 秒淡出
  • 自动跟随 Light/Dark 主题(使用 --dsw-alias-* 主题 token)

安装与启用

前提条件:

  • DSH 版本 ≥ 0.2.1-rc
  • 已启用 Web UI bundle(@deepseek-ai/dsh-web-app)
  • 聊天客户端(@deepseek-ai/dsh-client-ui-chat)已包含在当前会话配置中

安装命令(来自 README):

# 从 git 检出或已发布的 registry 安装
dsh plugin --profile web add <your-url-or-package>

安装后,DSH 会将包链接到当前 profile,并在 package.json 的 dsh.profile.bundles 中追加 @local/dsh-tokmeter。重启 Web UI 服务即可生效;客户端模块的修改支持热重载,无需完全重启。

典型用法

安装完成后,打开 Web UI 并发起一个长文本或长推理链的请求,状态栏会显示类似:

[ 1 turns 33 steps · 76 tok/s ] [ ⚡ 75.9 tok/s ]   ← live, updates every stream delta

在模型生成过程中,闪电 pill 会持续更新;停止生成约 2.5 秒后自动淡出。

适用场景与注意

  • 适合需要实时监控模型解码吞吐的开发者与调试场景
  • 插件以当前 DSH 进程权限运行,安装前应检查源码与许可证
  • 仅在包含聊天视图的会话中渲染;无流式生成时不可见
  • 显示的是基于字符增长的估算值,与提供方侧的指标可能存在细微差异

短结尾

dsh-tokmeter 为 DSH Web UI 增加了一层实时解码速度的可见性,方便在流式生成过程中把握模型表现。更多细节与源码见:

  • 目录页:https://www.skillhub.cn/plugins/Toximiner/dsh-tokmeter
  • GitHub:https://github.com/Toximiner/dsh-tokmeter
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye