dsh-llm-governor:DeepSeek Harness 的多模型治理插件
`dsh-llm-governor` 是 DeepSeek Harness (DSH) 的一個插件,旨在解決多模型部署中的選路分散、額度管理及審計困難等問題。它提供模型畫像、用戶訪問控制、月度 Credits、多種路由策略、失敗重路由及審計能力。插件作爲決策層與 DSH 協同工作,不代理請求或管理憑證。支持 Auto、質量優先等多種路由模式,並可通過插件形式集成安裝,適用於需要精細化管理與多租戶場景的部署。
閱讀全文