DeepSeek Harness 插件 dsh-llm-rate-limit 介紹

`dsh-llm-rate-limit` 是 DeepSeek Harness 的一個插件,旨在通過令牌桶算法和 FIFO 隊列管理,解決智能體或後臺任務並行調用時的 429 限流問題。 該插件支持請求與併發控制、代幣預算管理、自適應冷卻及流量分流。通過配置文件可精細化控制不同提供商的頻率、併發數及隊列行爲。注意,插件基於進程本地狀態,不提供分佈式配額或自動重試功能。

閱讀全文