dsh-model-latency-test:在设置里一键测各模型首 token 延迟(TTFT)

mdl-latency-test 是 Mo3ter 维护的 DSH 模型推理类插件,在设置中增加「模型测试」页,通过 llm.stream 测量每个已配置模型的首 token 延迟(TTFT,毫秒)。按提供方折叠卡片串行测试,支持 Web GUI 与 Desktop。安装:dsh plugin add github:Mo3ter/dsh-model-latency-test。每次测试会发最小真实请求并消耗少量 token,结果反映当前网络与提供方状态,宜跨时段对比。MIT 许可,Node >= 20。

阅读全文