dsh-llm-gate: DeepSeek Harness 單模型提供商併發門控插件

`dsh-llm-gate` 是 DeepSeek Harness (DSH) 的一個插件,旨在解決底層單槽模型服務(如 `llama.cpp`)無法處理併發請求導致請求超時被丟棄的問題。該插件通過內部 FIFO 隊列暫存多餘請求,確保請求有序處理。它支持按提供商併發控制、隊列管理及全鏈路覆蓋,並能處理隊列滿或超時等錯誤。用戶需通過配置文件設置併發上限、隊列長度和等待超時時間,並注意串行化限制及依賴關係。

閱讀全文