DeepSeek Harness 插件:dsh-model-tester(模型可用性一键测试)

DeepSeek Harness(DSH)的核心设计理念是「一切皆插件」。在模型推理开发或运维中,快速验证模型可用性、吞吐(TPS)与首 Token 延迟是高频需求。masknull/dsh-model-tester 作为一个 DSH 插件,直接在「设置 → 模型」页底部增加了一个测试面板,通过真实流式调用完成批量检测。

插件定位

这是一个由 masknull 维护的模型推理类插件,旨在解决模型配置后无法快速验证连通性与性能的问题。它通过一键测试,提供可用性、TPS、首 Token 延迟与总耗时的四维指标。

核心能力

  1. 并发流式测试:对每个模型发起真实的流式调用(llm.stream),支持 3 路并发,单模型超时 30 秒。
  2. 按渠道隔离测试:支持「测试本渠道」按钮,仅针对特定提供方的模型发起请求。
  3. 单行多维指标:测试结果以单行形式展示:可用性 / TPS (tok/s) / 首 token (s) / 耗时 (s)。
  4. 失败诊断:失败行会明确显示错误原因、错误码与 HTTP 状态。
  5. 单模型重测:每行独立携带「测试/重测」按钮。
  6. 智能过滤:自动隐藏未激活或未配置的提供方;若模型 ID 或名称包含 vision(如 modlens vision),自动注册条目也会被隐藏。
  7. 模型清单来源:优先读取设置中显式配置的模型,否则回退到适配器目录(llm.listModels)。

安装与启用

使用官方命令安装插件:

dsh plugin --profile web add github:masknull/dsh-model-tester

安装完成后,重启 dsh web 进程,随后打开 设置 → 模型,页面底部会出现测试面板。

使用说明

进入模型设置页底部,点击「测试」按钮即可批量执行。

关于 TPS:该指标依赖上游提供方返回的 usage 信息。如果响应一次性到达导致 decode 窗口小于 50 毫秒,将无法测得有效速率,此时显示 —。

关于参数:测试请求刻意不传 maxTokens,由上游提供方使用自身默认输出额度,避免因人为设置的小额度导致推理模型提前截断(response incomplete: max_output_tokens)。

总结

该插件通过宿主半与浏览器半的协作,将原本需要手动编写脚本或调用 API 的测试流程标准化、可视化,适合需要频繁校验模型性能与连通性的场景。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜