dsh-latency-pct:延迟百分位插件

前言

在模型推理的开发与调试中,单纯获取平均延迟往往不足以反映系统的性能瓶颈。对于需要精确评估响应质量的场景,计算延迟百分位是必要的手段。DeepSeek Harness(DSH)采用插件化架构,支持通过社区插件扩展能力。下面介绍的是 dsh-latency-pct,一个专注于延迟百分位计算的插件。

是什么

dsh-latency-pct 是一个 DSH 插件,由 uckkk 维护。其核心价值在于按参数精确计算延迟百分位,并返回详细结果。该插件采用纯 Node.js 实现,不依赖网络环境,可以直接在本地运行。

核心功能

  1. 延迟百分位计算:支持按参数进行精确计算。
  2. 详细结果返回:计算完成后输出详细数据。
  3. 无网络依赖:纯 Node 实现,无需联网即可运行。

安装与启用

在终端中执行以下命令安装该插件:

dsh plugin add github:uckkk/dsh-latency-pct

安装完成后,插件会在当前的 DSH 会话中注册相应的工具。

典型用法

安装并在会话中激活该插件后,直接调用插件注册的工具即可使用。具体调用方式需参照当前会话中可用的工具列表。

适用场景与注意

  • 适用场景:需要量化分析模型推理延迟分布的开发与调试场景。
  • 依赖要求:安装前需确保环境满足以下 peerDependencies:
  • @deepseek-ai/cordis >=4.0.1
  • @deepseek-ai/dsh-tools >=0.1.0-rc.6
  • 权限注意:该插件以当前 DSH 进程的权限运行,使用前建议检查源码与许可证(MIT)。

结语

通过上述步骤,即可在本地环境中获得精确的延迟百分位数据。更多细节可参考插件目录或源码仓库。
- 插件目录:https://www.skillhub.cn/plugins/uckkk/dsh-latency-pct
- 源码仓库:https://github.com/uckkk/dsh-latency-pct

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜