DeepSeek Harness (DSH) 默認提供針對官方模型的適配器。當模型託管在 NewAPI、LiteLLM、Higress 或任何 OpenAI 兼容網關後端時,通常需要手動維護靜態模型列表,並猜測上下文窗口和輸出上限等參數。該插件允許用戶直接將網關掛載爲提供商路由,省去了手動維護的步驟。
這是什麼¶
dsh-gateway-provider 是一個通用的 LLM 網關提供商插件,由 Luck9Star 維護。它將 NewAPI、LiteLLM、Higress 或任何 OpenAI 兼容網關掛載爲提供商路由,支持在 DeepSeek Harness 中使用這些網關後的模型。
核心功能¶
- 掛載網關路由:將 NewAPI / LiteLLM / Higress / 任何 OpenAI 兼容網關作爲提供商路由掛載。
- 自動發現模型:從網關 API 自動發現模型列表。
- 參數豐富:從 models.dev 獲取真實參數(上下文窗口、輸出上限、推理支持)來豐富模型信息。
- 原生協議分發:通過 pi-ai SDK,使用原生協議(OpenAI / Anthropic / Gemini)分發請求。
- 多網關支持:支持同時使用多個網關,每個網關擁有獨立的路由和密鑰。
- Web UI 配置:提供設置頁面 UI 進行配置,無需編輯 YAML 文件。
安裝與啓用¶
- 安裝插件:
dsh plugin --profile web add dsh-gateway-provider
- 存儲密鑰(推薦方式):
echo "NEWAPI_API_KEY: sk-REPLACE_WITH_YOUR_KEY" >> ~/.dsh/.credentials.yaml
- 重啓並打開設置:
dsh --profile web
導航至 **Settings → Gateway Models**。
典型用法¶
在設置頁面的 Gateway Models 中,添加網關。選擇模板(NewAPI / LiteLLM / Higress / OpenAI 兼容 / 完全自定義),輸入網關地址,配置密鑰變量,點擊 Test 測試連接,最後點擊 Sync 同步模型列表。
適用場景與注意¶
- 運行環境:需要 DeepSeek Harness (dsh) 帶有
webprofile,因爲設置頁面是基於 Web UI 的擴展;提供程序本身可在任何 profile 下運行。 - 密鑰存儲:需要網關 API 密鑰。密鑰存儲在 dsh 的憑證存儲中(
~/.dsh/.credentials.yaml)。 - 權限注意:插件以當前 dsh 進程的權限運行。
總結¶
該插件通過掛載網關和自動參數發現,解決了在 DSH 中使用第三方網關模型時手動維護配置繁瑣且參數不準的問題。更多詳情請參考插件目錄或GitHub 倉庫。