DeepSeek Harness(DSH)的核心设计理念是「一切皆插件」。在模型推理开发或运维中,快速验证模型可用性、吞吐(TPS)与首 Token 延迟是高频需求。masknull/dsh-model-tester 作为一个 DSH 插件,直接在「设置 → 模型」页底部增加了一个测试面板,通过真实流式调用完成批量检测。
插件定位¶
这是一个由 masknull 维护的模型推理类插件,旨在解决模型配置后无法快速验证连通性与性能的问题。它通过一键测试,提供可用性、TPS、首 Token 延迟与总耗时的四维指标。
核心能力¶
- 并发流式测试:对每个模型发起真实的流式调用(
llm.stream),支持 3 路并发,单模型超时 30 秒。 - 按渠道隔离测试:支持「测试本渠道」按钮,仅针对特定提供方的模型发起请求。
- 单行多维指标:测试结果以单行形式展示:可用性 /
TPS (tok/s)/首 token (s)/耗时 (s)。 - 失败诊断:失败行会明确显示错误原因、错误码与 HTTP 状态。
- 单模型重测:每行独立携带「测试/重测」按钮。
- 智能过滤:自动隐藏未激活或未配置的提供方;若模型 ID 或名称包含
vision(如modlens vision),自动注册条目也会被隐藏。 - 模型清单来源:优先读取设置中显式配置的模型,否则回退到适配器目录(
llm.listModels)。
安装与启用¶
使用官方命令安装插件:
dsh plugin --profile web add github:masknull/dsh-model-tester
安装完成后,重启 dsh web 进程,随后打开 设置 → 模型,页面底部会出现测试面板。
使用说明¶
进入模型设置页底部,点击「测试」按钮即可批量执行。
关于 TPS:该指标依赖上游提供方返回的 usage 信息。如果响应一次性到达导致 decode 窗口小于 50 毫秒,将无法测得有效速率,此时显示 —。
关于参数:测试请求刻意不传 maxTokens,由上游提供方使用自身默认输出额度,避免因人为设置的小额度导致推理模型提前截断(response incomplete: max_output_tokens)。
总结¶
该插件通过宿主半与浏览器半的协作,将原本需要手动编写脚本或调用 API 的测试流程标准化、可视化,适合需要频繁校验模型性能与连通性的场景。