前言¶
在使用 DeepSeek Harness(DSH)的 Web UI 生成长文本或长推理链时,开发者需要直观地掌握当前模型的解码速度。默认状态栏只会在一轮对话结束后显示该轮的平均速度,无法反映正在流式生成过程中的实时吞吐。
是什么¶
dsh-tokmeter 是一个 DSH 客户端插件,为 Web UI 添加一个实时解码速度指示器(tok/s),显示在对话编辑器 dock 的状态栏中。该插件由 Toximiner 维护,开源 MIT 许可证,无需构建步骤,直接通过 DSH 插件命令安装。
核心功能¶
- 在模型流式生成过程中,实时显示当前解码速度(tok/s)
- 指示器为一个小的闪电图标 pill,显示在状态栏中
- 采样间隔为 250 ms,基于字符增长估算 token 数(约 4 字符/ token)
- 使用指数移动平均平滑数值:
rate = 0.7 * previous + 0.3 * (Δchars / 4) / Δt - 生成结束后约 2.5 秒淡出
- 自动跟随 Light/Dark 主题(使用
--dsw-alias-*主题 token)
安装与启用¶
前提条件:
- DSH 版本 ≥ 0.2.1-rc
- 已启用 Web UI bundle(
@deepseek-ai/dsh-web-app) - 聊天客户端(
@deepseek-ai/dsh-client-ui-chat)已包含在当前会话配置中
安装命令(来自 README):
# 从 git 检出或已发布的 registry 安装
dsh plugin --profile web add <your-url-or-package>
安装后,DSH 会将包链接到当前 profile,并在 package.json 的 dsh.profile.bundles 中追加 @local/dsh-tokmeter。重启 Web UI 服务即可生效;客户端模块的修改支持热重载,无需完全重启。
典型用法¶
安装完成后,打开 Web UI 并发起一个长文本或长推理链的请求,状态栏会显示类似:
[ 1 turns 33 steps · 76 tok/s ] [ ⚡ 75.9 tok/s ] ← live, updates every stream delta
在模型生成过程中,闪电 pill 会持续更新;停止生成约 2.5 秒后自动淡出。
适用场景与注意¶
- 适合需要实时监控模型解码吞吐的开发者与调试场景
- 插件以当前 DSH 进程权限运行,安装前应检查源码与许可证
- 仅在包含聊天视图的会话中渲染;无流式生成时不可见
- 显示的是基于字符增长的估算值,与提供方侧的指标可能存在细微差异
短结尾¶
dsh-tokmeter 为 DSH Web UI 增加了一层实时解码速度的可见性,方便在流式生成过程中把握模型表现。更多细节与源码见:
- 目录页:https://www.skillhub.cn/plugins/Toximiner/dsh-tokmeter
- GitHub:https://github.com/Toximiner/dsh-tokmeter