dsh-ttft-hedge:为流式 /v1/messages 请求做对冲,缩短首包等待

dsh-ttft-hedge 是 r-ayin 维护的 DSH 模型推理类插件,对流式 /v1/messages LLM 调用做 hedged request:响应头在 deadline 内未到则并行第二次请求并竞速;5xx/504 立即重试,4xx/429 原样返回,并提供统计与 stats 文件。文章依据 GitHub README 说明构建(bash scripts/build.sh)与注入器内 dev_inject_plugin 启用方式,并提醒插件与 DSH 同权限运行及并行请求对计费的影响。

阅读全文