dsh-model-pro:llm-pi-ai 提供商全生命週期管理

在 DeepSeek Harness (DSH) 生態中,llm-pi-ai 提供商適配器提供了基礎的模型調用能力,但缺乏直觀的配置與管理界面。dsh-model-pro 是一個面向 DSH 的動態 Cordis 插件,它在設置頁面新增了「模型 Pro」入口,爲 llm-pi-ai 提供商提供全生命週期的管理 UI。

該插件支持提供商的新建與編輯、啓用/禁用、遠端模型發現、連通性測試、智能路由與組合提供商等操作,並在卸載時保證模型數據零丟失。

核心功能

提供商管理

插件提供卡片式列表,支持提供商的 CRUD(創建、讀取、刪除)操作。
- 啓用與禁用:支持一鍵切換狀態。禁用的提供商會從模型選擇器中隱藏,並移入 disabledProviders 配置段,但配置數據完整保留。
- 字段編輯:可逐項編輯 baseURL、API 協議、apiKeyEnv、displayName 等字段。
- 自定義請求頭:支持按提供商自定義 HTTP 請求頭,authorization 與 api-key 由適配器自動填充,無需手動維護。

密鑰與憑據

  • 加密存儲:在 GUI 中粘貼的 API Key 會以 AES-256-GCM 算法加密後寫入配置文件,同時存入 DSH 憑據服務。
  • 按需解密:配置文件中僅存儲密文,默認掩碼顯示,點擊「顯示已存」可解密查看。

模型管理

  • 遠端模型發現:支持通過 GET /models 拉取遠端模型列表,並提供全選、取消全選與反選功能。
  • 批量寫入:支持將選中的模型「替換」或「合併」到提供商的顯式模型列表中。
  • 轉發名映射:可爲特定模型設置本地轉發名,選它時實際向 Provider 發送映射後的模型名。

連通性測試

在「測試」頁面,對選定模型發起一次真實的推理請求。該測試會走完整的憑據驗證、請求頭注入與協議鏈路,返回延遲、停止原因與實際回覆內容,用於在依賴模型前確認其可用性。

智能路由與組合

  • 智能路由:支持聚合多個 Provider 的模型,提供 5 種路由策略:priority(順序優先+回退)、weighted(權重隨機)、round-robin(平滑加權輪詢)、min-latency(歷史低延遲優先)、sticky(會話粘滯)。支持設置權重、啓用開關、健康感知與回退次數。
  • 無感切換:當首選目標不可達(連接拒絕、HTTP 錯誤、空響應或超時)時,系統會自動切換至下一個目標,整個過程對對話無感知。
  • 組合提供商:支持將多個 Provider 的模型合併成一個虛擬 Provider,支持並集與交集兩種模式,交集模式非常適合同款模型的多上游互備。

觀測與健康

  • 探活:對每個目標(Provider + Model)發起最小請求,標記 up、down、probing 狀態及連續失敗次數,健康感知會自動跳過 Down 狀態的目標。
  • 觀測臺:提供會話內請求日誌(路由 → 目標、延遲、Token)與聚合統計(調用次數、成功率、平均延遲、Token 合計)。
  • 對話徽章:可開啓開關,在每個回合下方顯示實際選中的 Provider/Model,發生自動切換時標註「已無感切換」。

安裝與啓用

DSH 的插件管理命令會轉發給 pnpm,安裝時需指定 Profile(Web GUI 通常是 web)。

從 npm 安裝(推薦):

dsh plugin --profile web add npm:dsh-model-pro

注意:必須帶 npm: 前綴。registry 上的包已預置 dist/,安裝時不會觸發構建腳本。若省略前綴,pnpm 可能將其解析爲 git 源,導致執行構建腳本被攔截。

安裝完成後,重新打開 DSH Web GUI,在左側「設置」中即可看到「模型 Pro」入口。

典型用法

  1. 新建提供商:進入「模型 Pro」,點擊右上角「新增提供商」,按 3 步向導填寫命名、連接信息與憑據。
  2. 拉取模型:進入「模型」標籤頁,點擊「獲取遠端模型」,勾選需要的模型,選擇「替換爲選中」或「合併選中」。
  3. 連通性測試:在「測試」標籤頁選擇模型,點擊「運行測試」,確認延遲與回覆內容。
  4. 配置路由:在「智能路由 → 路由臺」新建命名路由,添加目標並配置策略與權重。
  5. 組合能力:在「組合提供商」頁選擇多個 Provider,選擇並集或交集模式,在模型選擇器中以 composite / 組合名::模型 的形式使用。
  6. 觀測與探活:在「探活」頁更新目標健康狀態,在「觀測臺」查看統計與日誌。

注意事項

  • 卸載安全:卸載插件時會自動將 disabledProviders 中的每個提供商原樣還原回 providers,確保配置數據不丟失。
  • 密鑰管理:加密的主密鑰存於憑據服務且永不重新生成,因此重裝插件後舊的密文仍可解密。
  • 權限與源碼:插件在 DSH 進程權限下運行,安裝前建議檢查源碼與許可證。

總結

dsh-model-pro 通過提供可視化的管理界面與豐富的編排能力,解決了 llm-pi-ai 提供商配置繁瑣、缺乏測試與監控手段的問題。它支持從基礎的 CRUD 到複雜的智能路由與組合,能夠幫助開發者更安全、高效地管理多模型調用鏈路。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜