DeepSeek Harness 插件 dsh-llm-rate-limit 介绍
`dsh-llm-rate-limit` 是 DeepSeek Harness 的一个插件,旨在通过令牌桶算法和 FIFO 队列管理,解决智能体或后台任务并行调用时的 429 限流问题。 该插件支持请求与并发控制、代币预算管理、自适应冷却及流量分流。通过配置文件可精细化控制不同提供商的频率、并发数及队列行为。注意,插件基于进程本地状态,不提供分布式配额或自动重试功能。
阅读全文`dsh-llm-rate-limit` 是 DeepSeek Harness 的一个插件,旨在通过令牌桶算法和 FIFO 队列管理,解决智能体或后台任务并行调用时的 429 限流问题。 该插件支持请求与并发控制、代币预算管理、自适应冷却及流量分流。通过配置文件可精细化控制不同提供商的频率、并发数及队列行为。注意,插件基于进程本地状态,不提供分布式配额或自动重试功能。
阅读全文