前言¶
在模型推理的开发与调试中,单纯获取平均延迟往往不足以反映系统的性能瓶颈。对于需要精确评估响应质量的场景,计算延迟百分位是必要的手段。DeepSeek Harness(DSH)采用插件化架构,支持通过社区插件扩展能力。下面介绍的是 dsh-latency-pct,一个专注于延迟百分位计算的插件。
是什么¶
dsh-latency-pct 是一个 DSH 插件,由 uckkk 维护。其核心价值在于按参数精确计算延迟百分位,并返回详细结果。该插件采用纯 Node.js 实现,不依赖网络环境,可以直接在本地运行。
核心功能¶
- 延迟百分位计算:支持按参数进行精确计算。
- 详细结果返回:计算完成后输出详细数据。
- 无网络依赖:纯 Node 实现,无需联网即可运行。
安装与启用¶
在终端中执行以下命令安装该插件:
dsh plugin add github:uckkk/dsh-latency-pct
安装完成后,插件会在当前的 DSH 会话中注册相应的工具。
典型用法¶
安装并在会话中激活该插件后,直接调用插件注册的工具即可使用。具体调用方式需参照当前会话中可用的工具列表。
适用场景与注意¶
- 适用场景:需要量化分析模型推理延迟分布的开发与调试场景。
- 依赖要求:安装前需确保环境满足以下 peerDependencies:
@deepseek-ai/cordis >=4.0.1@deepseek-ai/dsh-tools >=0.1.0-rc.6- 权限注意:该插件以当前 DSH 进程的权限运行,使用前建议检查源码与许可证(MIT)。
结语¶
通过上述步骤,即可在本地环境中获得精确的延迟百分位数据。更多细节可参考插件目录或源码仓库。
- 插件目录:https://www.skillhub.cn/plugins/uckkk/dsh-latency-pct
- 源码仓库:https://github.com/uckkk/dsh-latency-pct