dsh-provider-rate-limit:DeepSeek Harness 按供应商/模型粒度的限速与网关伪装插件

前言

DeepSeek Harness(DSH)作为构建 AI 智能体的基础框架,其核心设计理念是「一切皆插件」。在实际部署中,按供应商和模型粒度控制 LLM 流量频率、管理 API 配额以及应对免费层级网关对客户端身份的校验,往往是开发者需要解决的运维难题。本文介绍一款能直接在 DSH 中落地的限速与客户端伪装插件。

插件定位

dsh-provider-rate-limit 是一个适用于 DeepSeek Harness 的管理类插件,由 jyao-SUSE-power-group 维护。它解决了 LLM 流量按供应商和模型粒度限速的问题,并提供了网关身份规则(客户端伪装)能力,以应对某些免费层级网关对客户端身份的校验。

核心能力

  • Token Bucket 限流算法:针对 (provider, model) 路由进行精细化限流,支持突发流量与空闲恢复。
  • 双模式响应:当桶为空时,支持 wait(排队等待)和 reject(立即拒绝)两种模式。
  • 严格 FIFO 机制:基于预留的设计,保证请求按到达顺序 admission,无需轮询。
  • 网关身份伪装:通过 URL 模式匹配,重写 User-Agent 或注入静态头,支持 dynamicIds 动态 ID 注入。
  • 全局控制与热重载:提供总开关与本地化的设置 UI,配置修改后无需重启即可生效。
  • 实时统计:在 Composer Dock 显示实时统计行,支持悬停查看路由级详细数据。提供 SSE 推送端点与 HTTP API。
  • 高性能路由查找:使用 Map 实现 O(1) 路由匹配。
  • 并发控制:支持 maxConcurrentRequests 配置,防止路由过载。

安装与启用

使用 DSH 插件管理器安装该插件。

dsh plugin --profile web add github:jyao-SUSE-power-group/dsh-provider-rate-limit

安装后重启 DeepSeek Harness。插件会通过 cordis patch 向 llm 服务注册。

配置与使用

进入 Settings → 插件 → Provider Rate Limit 进行配置,所有选项支持热重载。

路由规则:按供应商/模型名称的子字符串进行匹配,未匹配的流量使用全局限制。例如,匹配 provider 为 opencode 且 model 以 claude- 开头的路由。

身份伪装规则:针对特定 URL 模式,允许重写 User-Agent 或注入静态头。例如,某些免费网关需要特定的客户端标识才能通过。

统计查看:在聊天界面的 Composer Dock(输入框下方)会显示限流统计行。将鼠标悬停在该行上,可查看各路由的详细请求数据。

注意事项

  • 插件以当前 DSH 进程的权限运行,请确保在安装前检查源码与许可证。
  • 仅在拥有合法使用权限且符合服务条款的前提下,使用身份伪装功能。

总结

该插件通过 Token Bucket 算法实现了平滑限流与突发流量支持,配合严格的 FIFO 机制保障了请求顺序。若需了解更多或查阅源码,可访问插件目录页或 GitHub 仓库。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜