前言¶
在模型推理场景下,预估并发请求量(QPS)是评估系统承载能力的关键环节。通常需要借助外部脚本或手工计算公式来完成这一工作。
DeepSeek Harness(DSH)采用“一切皆插件”的理念。针对这一需求,社区提供了一个名为 dsh-qps-calc 的插件,它允许你在会话中直接进行 QPS 的计算。
插件定位¶
这是一个由 uckkk 维护的 DeepSeek Harness 插件,归属于模型推理类别。其核心目的是提供峰值 QPS 的估算功能,帮助开发者快速评估推理服务的并发承载能力。
核心功能¶
- qps_calc:按参数精确计算峰值 QPS,并返回详细结果。
- 实现方式:纯 Node 实现,无网络依赖。
安装与依赖¶
执行以下命令安装插件:
dsh plugin add github:uckkk/dsh-qps-calc
安装前请确保当前环境满足以下依赖要求:
@deepseek-ai/cordis(^4.0.1)@deepseek-ai/dsh-tools(>=0.1.0-rc.6)
使用方法¶
安装完成后,在 DSH 会话中调用该插件注册的工具即可。
适用场景与注意事项¶
- 适用场景:适合需要在本地快速评估推理服务峰值并发量的开发者。
- 权限说明:该插件以当前 DSH 进程的权限运行。
- 安全建议:安装前建议查阅源码与许可证(MIT)。
- 生态说明:该插件属于社区生态,社区目录 (skillhub.cn) 与 DeepSeek 或幻方无官方从属关系。
结语¶
dsh-qps-calc 提供了一个轻量级、无网络依赖的 QPS 估算方案。更多细节可查阅 GitHub 仓库 或 社区目录。