dsh-llm-gate: DeepSeek Harness 单模型提供商并发门控插件

`dsh-llm-gate` 是 DeepSeek Harness (DSH) 的一个插件,旨在解决底层单槽模型服务(如 `llama.cpp`)无法处理并发请求导致请求超时被丢弃的问题。该插件通过内部 FIFO 队列暂存多余请求,确保请求有序处理。它支持按提供商并发控制、队列管理及全链路覆盖,并能处理队列满或超时等错误。用户需通过配置文件设置并发上限、队列长度和等待超时时间,并注意串行化限制及依赖关系。

阅读全文