前言¶
DeepSeek Harness (DSH) 的插件化架構允許開發者通過配置擴展模型路由能力。在需要接入 Ant Digital MaaS 或 NVIDIA NIM 時,通常需要手動配置適配器或添加額外的 HTTP 代理。dsh-cloud-model-providers 插件通過複用 DSH 內置的 llm-pi-ai 適配器,實現了對這兩類服務的流式模型路由接入,並保持了憑證管理和流式傳輸邏輯的統一。
插件定位¶
插件名稱:bitdg/dsh-cloud-model-providers
維護者:BitDG
許可證:MIT
核心功能:爲 DSH 的 web 或 headless 配置文件添加 Ant Digital MaaS 和 NVIDIA NIM 的模型路由。
核心能力¶
- 模型路由支持:提供
ant-maas-responses、ant-maas-chat和nvidia三種路由。 - 協議兼容:支持 OpenAI Responses over SSE 和 Chat Completions over SSE 協議。
- 功能完備:兼容 DSH 的
llm-pi-ai適配器,原生支持流式傳輸、工具調用、使用統計和請求取消。 - 憑證管理:不存儲 API 密鑰,必須通過環境變量或 DSH 設置提供。
安裝與啓用¶
插件以聲明式配置層(cordis.patch.yml)的形式工作,安裝後即激活。
- 安裝插件:
dsh plugin --profile web add github:BitDG/dsh-cloud-model-providers
此命令會將插件安裝到 `web` 配置文件中,並激活其聲明的配置層。
- 驗證安裝:
在啓動應用前,檢查配置是否生效:
dsh --profile web --dump-config
輸出中應包含 `# == @deepseek-ai/dsh-base, patched by dsh-cloud-model-providers` 標記,以及被修改的 `llm-pi-ai` 配置行。
- 卸載插件:
dsh plugin --profile web remove dsh-cloud-model-providers
配置與使用¶
插件需要通過環境變量提供憑證,並在配置中選擇對應的路由和模型。
- 設置環境變量:
在啓動 DSH 前設置 API Key:
export MAAS_API_KEY='your-maas-key'
export NVIDIA_API_KEY='your-nvidia-key'
或者在 Web 界面的“模型設置”頁面中直接填寫。
-
選擇模型:
在 DSH 的模型列表中,根據協議選擇對應的路由:- ant-maas-responses:用於 OpenAI Responses over SSE 協議,默認模型爲
lingdt-3.0-flash。 - ant-maas-chat:用於 Chat Completions over SSE 協議,默認模型爲
qwen3.6-plus。 - nvidia:用於 Chat Completions over SSE,模型來源取決於 DSH 已安裝的
pi-ai目錄。
如果是 Headless 模式,可以在
cordis.patch.yml中指定默認模型: - ant-maas-responses:用於 OpenAI Responses over SSE 協議,默認模型爲
- id: agent-default-model
config:
provider: ant-maas-responses
model: lingdt-3.0-flash
注意事項¶
- 不部署容器:插件僅作爲網絡客戶端調用官方 API,不部署自託管的 NVIDIA NIM 容器。
- 模型列表:預配置的 MaaS 模型列表較小,其他模型需在 DSH 設置中添加並自行確認協議支持。
- 協議變動:MaaS 模型的可用性和協議支持可能會隨官方文檔變化,使用前請查閱官方目錄。
總結¶
該插件通過聲明式配置擴展了 DSH 的模型接入能力,使得開發者能夠無縫使用 Ant Digital MaaS 和 NVIDIA NIM 的流式模型接口。更多技術細節和源碼可參考官方倉庫。