dsh-model-fallback-queue:模型限额与限流时的自动故障转移队列

dsh-model-fallback-queue 是 HelloQingTao 维护的 DSH 模型推理插件。当前模型命中配额、限流或不可用等熔断条件时,按 P1→Pn 队列自动切换到后备路由,会话可继续;开关、队列顺序与粘滞/探测/手动三种 P1 恢复策略均在 Web 设置页配置。与同路由的 dsh-llm-retry 分层协作,全熔断时降级放行原配置。安装命令为 dsh plugin --profile web add dsh-model-fallback-queue,适用于 engines.dsh >=0.2.0-rc.2 <0.3.0。

阅读全文