前言¶

在 DeepSeek Harness（DSH）里配多个模型提供方时，文档里的标称延迟和你在本机、当前网络下的体感往往对不上。换模型、换路由或排查「为什么这次特别慢」时，如果只能凭主观感受或临时写脚本调 API，成本偏高，也不便于在同一套 GUI 里对照所有已配置模型。

下面介绍社区插件 mdl-latency-test（仓库名 dsh-model-latency-test）：在 设置 中增加「模型测试」页，按提供方串行跑一遍已注册模型，用首 token 延迟（TTFT，毫秒）做横向对比。维护者为 Mo3ter，分类为模型推理；当前 package 版本为 1.0.0，许可证 MIT。

这是什么¶

DSH 插件 mdl-latency-test 在宿主侧注册同源 HTTP 路由（前缀 /plugins/mdl-latency-test/api），客户端通过 settings.section 注入设置页。页面依赖 Settings UI，因此在 DSH Web GUI 与 DSH Desktop 中可见；没有客户端 UI 的纯命令行环境不会出现这一页。

它解决的是：在你已经配置好的提供方与模型列表上，用与 Harness 相同的 ctx.llm 路径发一次最小流式请求，量出「第一个非空 token」到达前的耗时，而不是替你做压测或生成评测报告。

核心功能¶

设置页与交互¶

1. 打开 设置 → 模型测试（英文界面为 Model Test）。
2. 每个提供方对应一张可折叠卡片，卡片头部有「测试」按钮。
3. 点击后，该提供方下的模型按顺序各测一次，界面上实时显示 xxx ms 或「失败」。

数据来源与延迟口径¶

• 提供方列表：llm.listProviders()。
• 某提供方下的模型：llm.listModels(provider)。
• 延迟：对 llm.stream(...) 计时，取第一个非空 token 出现的时间差，即 TTFT，单位毫秒。
• 某个模型失败时单独标记为失败，后续模型继续测。

宿主 API（实现侧）¶

插件在宿主侧暴露两条同源路由（经 ctx.llm 与 ctx.webServer）：

• GET /plugins/mdl-latency-test/api/list
• POST /plugins/mdl-latency-test/api/test

客户端设置页通过这些接口拉列表并触发测试。

安装与启用¶

收录插件市场后可在市场一键安装。当前从 GitHub 安装可使用 README 给出的命令：

dsh plugin add github:Mo3ter/dsh-model-latency-test

若已在本地有插件目录（例如解压或同步后的 dsh-model-latency-test 文件夹），可：

dsh plugin add file:./dsh-model-latency-test

package 要求 Node.js >= 20。安装前建议浏览仓库源码并确认 MIT 许可证；插件以当前 DSH 进程权限运行，会代表你向各提供方发起真实请求。

典型用法¶

1. 在 DSH 中照常配置多个 LLM 提供方与模型（与日常对话相同的那套配置）。
2. 打开 Web GUI 或 Desktop 的 设置 → 模型测试。
3. 对关心的提供方点「测试」，等待串行结果；记录各模型 TTFT，或在不同时间段重复对比。

每次测试都会对每个模型发送一次最小真实请求，会消耗少量 token；提供方下模型多时，串行执行需要等待一段时间。

适用场景与注意¶

适合：已在 DSH 里配好多提供方、想快速对比「这条网络 + 当前时刻」下各模型谁更快；排查某模型是否偶发超时或明显变慢；换线路、换代理后做前后对照（跨时段对比比单次读数更有意义）。

注意：

• 测得的是 TTFT，不是吞吐或端到端全文延迟；不能替代正式 benchmark 套件。
• 测试串行、且会消耗 token；生产密钥或配额紧张的环境请谨慎点测。
• 数值随网络、提供方负载变化；README 建议跨天、跨时段对比，而非迷信单次结果。
• 无 Settings UI 的环境无法使用该页；安装与运行前请自行审查 GitHub 仓库 源码。

结尾¶

mdl-latency-test 把「各模型首 token 有多快」收进 DSH 设置里的一页操作，口径与 Harness 内置 LLM 流式路径一致，便于在 Web GUI 与 Desktop 里对照已配置模型。社区目录页：SkillHub - dsh-model-latency-test；源码与说明：GitHub - Mo3ter/dsh-model-latency-test。