前言¶
DeepSeek Harness(DSH)作为构建 AI 智能体的基础框架,其核心设计理念是「一切皆插件」。在实际部署中,按供应商和模型粒度控制 LLM 流量频率、管理 API 配额以及应对免费层级网关对客户端身份的校验,往往是开发者需要解决的运维难题。本文介绍一款能直接在 DSH 中落地的限速与客户端伪装插件。
插件定位¶
dsh-provider-rate-limit 是一个适用于 DeepSeek Harness 的管理类插件,由 jyao-SUSE-power-group 维护。它解决了 LLM 流量按供应商和模型粒度限速的问题,并提供了网关身份规则(客户端伪装)能力,以应对某些免费层级网关对客户端身份的校验。
核心能力¶
- Token Bucket 限流算法:针对
(provider, model)路由进行精细化限流,支持突发流量与空闲恢复。 - 双模式响应:当桶为空时,支持
wait(排队等待)和reject(立即拒绝)两种模式。 - 严格 FIFO 机制:基于预留的设计,保证请求按到达顺序 admission,无需轮询。
- 网关身份伪装:通过 URL 模式匹配,重写
User-Agent或注入静态头,支持dynamicIds动态 ID 注入。 - 全局控制与热重载:提供总开关与本地化的设置 UI,配置修改后无需重启即可生效。
- 实时统计:在 Composer Dock 显示实时统计行,支持悬停查看路由级详细数据。提供 SSE 推送端点与 HTTP API。
- 高性能路由查找:使用 Map 实现 O(1) 路由匹配。
- 并发控制:支持
maxConcurrentRequests配置,防止路由过载。
安装与启用¶
使用 DSH 插件管理器安装该插件。
dsh plugin --profile web add github:jyao-SUSE-power-group/dsh-provider-rate-limit
安装后重启 DeepSeek Harness。插件会通过 cordis patch 向 llm 服务注册。
配置与使用¶
进入 Settings → 插件 → Provider Rate Limit 进行配置,所有选项支持热重载。
路由规则:按供应商/模型名称的子字符串进行匹配,未匹配的流量使用全局限制。例如,匹配 provider 为 opencode 且 model 以 claude- 开头的路由。
身份伪装规则:针对特定 URL 模式,允许重写 User-Agent 或注入静态头。例如,某些免费网关需要特定的客户端标识才能通过。
统计查看:在聊天界面的 Composer Dock(输入框下方)会显示限流统计行。将鼠标悬停在该行上,可查看各路由的详细请求数据。
注意事项¶
- 插件以当前 DSH 进程的权限运行,请确保在安装前检查源码与许可证。
- 仅在拥有合法使用权限且符合服务条款的前提下,使用身份伪装功能。
总结¶
该插件通过 Token Bucket 算法实现了平滑限流与突发流量支持,配合严格的 FIFO 机制保障了请求顺序。若需了解更多或查阅源码,可访问插件目录页或 GitHub 仓库。