dsh-llm-governor:DeepSeek Harness 的多模型治理插件

前言

DeepSeek Harness(DSH)采用插件化架构。在多模型部署场景下,开发者通常面临模型选路策略分散、缺乏统一额度管理、请求失败后无法自动恢复以及用量审计困难等问题。dsh-llm-governor 是一个为 DSH 设计的插件,它在 DSH 现有的模型调用链上提供模型画像、用户访问控制、月度 Credits、多种路由策略、失败重路由和 Usage 审计能力。

该插件不代理模型请求,也不管理 Provider 凭证,而是作为决策层与编排层,与 DSH 的原生组件协同工作。

核心功能

dsh-llm-governor 提供以下治理能力:

  • 多模型治理与画像:支持模型性能画像,用于后续决策。
  • 用户访问控制:基于外部 user_id 的策略表,控制模型分发。
  • 月度 Credits:管理用户的月度额度,支持超限拦截。
  • 路由策略:支持 Manual(手动)、Quality First(质量优先)、Credit First(额度优先)、Auto(自动)四种模式。
  • 失败重路由:在模型调用失败时,自动尝试切换到其他可用模型或 Provider。
  • Usage 审计:记录每一次决策和调用的使用情况。

安装与启用

安装前请确保已安装 Node.js ^22.19.0 || >=24.0.0 和 pnpm,且 DSH 版本为 0.1.0-rc.8 或更高(截至 2026-08-21 验证)。

  1. 克隆仓库并构建插件。
    git clone https://github.com/young-tim/dsh-llm-governor
    cd dsh-llm-governor
    pnpm install
    pnpm build
    pnpm pack --pack-destination <临时目录>
  1. 将打包生成的 .tgz 文件添加到 DSH Profile 中。
    dsh plugin --profile <profile> add <临时目录>/dsh-llm-governor-<version>.tgz
  1. 重启 DSH 服务以加载插件。

使用与配置

路由策略与模型选择

模型选择直接进入 DSH 的 Composer(支持 Auto 模式),治理配置进入 DSH 原生 Settings。决策记录在同一 Session 的 Governor Trajectory 视图中展示。

首次配置 Quality

Auto、Quality First 和 Credit First 模式依赖模型的 Quality 分数。首次安装后,请进入 Settings → Governor → 模型 页面。为每个模型选择一个快速档位初始化:
* Lite 75:省成本档。
* 均衡 85:Flash / 标准档。
* Pro 95:高质量档。

这些快速档位会将同一个初始分数复制到七类任务。后续可通过“高级微调”针对不同任务调整具体分数。

架构与职责边界

调用链路

Governor 在 DSH 调用链中的位置如下:

Governor (选路/额度/审计) → DSH ctx.llm → DSH Provider Adapter → DSH Credentials Service → Provider

职责边界

  • 不代理请求:Governor 不接管 HTTP 代理或 WebSocket 流量,仅提供决策逻辑。
  • 不管理凭证:Provider 凭证由 DSH Credentials Service 管理,Governor 不读取、保存或要求 DEEPSEEK_API_KEY(仅在特定路由选中 deepseek-official 且无保存凭证时,由 DSH 适配器使用环境变量)。
  • 不提供登录系统:Governor 不提供注册、登录、MFA、SCIM 或 IdP 生命周期管理。

身份与用户管理

Governor 的 Users 不是一个账号目录,而是一个以外部 user_id 为键的治理策略表。该表保存模型的 allow list、月度 Credits 和用量汇总。

身份提供者(Identity Provider)

Governor 支持 local、header、jwt 和 custom 四种身份绑定模式:
* local:将整个实例视为一个固定用户,适合个人或单管理员部署。
* header / jwt:适合企业环境,需配合 DSH identity bridge 或可信代理使用。
* custom:扩展点,允许第三方 Host 插件实现自定义身份验证逻辑。

用户策略

在 Settings 中维护 User 策略不会创建一个能登录 DSH 的账号。企业部署通常需要通过 IdP、SCIM 同步或管理插件来预配置和停用用户。

依赖与兼容性

  • DSH 版本:需要 DSH 0.1.0-rc.8 兼容(截至 2026-08-21)。
  • 运行环境:TypeScript ESM,Node.js ^22.19.0 || >=24.0.0,pnpm 11。

结语

dsh-llm-governor 为 DeepSeek Harness 提供了从模型选路、额度控制到审计的完整治理闭环。它通过插件形式集成,不侵入 DSH 的核心请求处理流程,适合需要精细化管理和多租户场景的部署。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜