前言¶
在 DeepSeek Harness (DSH) 的插件化架構中,當需要同時對接多個模型提供商或實現特定場景下的自動切換時,手動配置往往效率低下。下面介紹一個插件,旨在通過自動化分類與路由機制簡化這一流程。
插件定位¶
dreamzhongju/dsh-smart-model-router 是一個由 DreamZhongJu 維護的 DSH 插件包,旨在提供智能模型路由功能。它能夠對請求進行分類,並將其路由至已配置的提供商/模型組合,同時支持按順序的技術故障轉移。
核心功能¶
- 智能路由與分類:根據請求特徵,將其分發至預設的模型配置對。
- 有序故障轉移:當主模型不可用或出錯時,自動按順序嘗試備選模型,直到成功或所有選項耗盡。
- 本地目錄讀取:插件直接讀取 DSH 本地的提供商/模型目錄,不進行網絡模型發現。
- 模式控制:在非手動模式下啓用時,DSH 的模型選擇器將被鎖定,選擇權由配置的路由規則接管。
- 憑證隔離:所有提供商的憑證均存儲在 DSH 的憑證服務中,該插件本身不持有或存儲任何憑證信息。
安裝與啓用¶
- 執行安裝命令:
dsh plugin --profile web add github:DreamZhongJu/dsh-smart-model-router
- 啓動 DSH:
dsh --profile web
- 在 DSH 的設置界面中找到 Plugins,啓用 Smart model router。
- 參考
config.example.yaml文件進行完整的路由配置。
典型用法¶
配置文件定義了請求如何被分類以及路由到哪個模型。啓用插件後,系統將根據配置自動處理請求分發,無需人工干預模型選擇(在非手動模式下)。
適用場景與注意事項¶
- 適用對象:需要統一管理多模型提供商、或希望實現特定任務自動匹配模型的企業級與開發者用戶。
- 權限與安全:插件在 DSH 進程權限範圍內運行。請確保在安裝前檢查源碼與許可證(MIT)。
- 網絡限制:由於依賴本地目錄,請確保 DSH 已正確配置並加載了所需的模型提供商信息。
結語¶
該插件通過集成到 DSH 生態,提供了模型路由的標準化解決方案,適合需要精細化控制模型調用策略的場景。