前言¶
DeepSeek Harness (DSH) 的插件化架构允许开发者通过配置扩展模型路由能力。在需要接入 Ant Digital MaaS 或 NVIDIA NIM 时,通常需要手动配置适配器或添加额外的 HTTP 代理。dsh-cloud-model-providers 插件通过复用 DSH 内置的 llm-pi-ai 适配器,实现了对这两类服务的流式模型路由接入,并保持了凭证管理和流式传输逻辑的统一。
插件定位¶
插件名称:bitdg/dsh-cloud-model-providers
维护者:BitDG
许可证:MIT
核心功能:为 DSH 的 web 或 headless 配置文件添加 Ant Digital MaaS 和 NVIDIA NIM 的模型路由。
核心能力¶
- 模型路由支持:提供
ant-maas-responses、ant-maas-chat和nvidia三种路由。 - 协议兼容:支持 OpenAI Responses over SSE 和 Chat Completions over SSE 协议。
- 功能完备:兼容 DSH 的
llm-pi-ai适配器,原生支持流式传输、工具调用、使用统计和请求取消。 - 凭证管理:不存储 API 密钥,必须通过环境变量或 DSH 设置提供。
安装与启用¶
插件以声明式配置层(cordis.patch.yml)的形式工作,安装后即激活。
- 安装插件:
dsh plugin --profile web add github:BitDG/dsh-cloud-model-providers
此命令会将插件安装到 `web` 配置文件中,并激活其声明的配置层。
- 验证安装:
在启动应用前,检查配置是否生效:
dsh --profile web --dump-config
输出中应包含 `# == @deepseek-ai/dsh-base, patched by dsh-cloud-model-providers` 标记,以及被修改的 `llm-pi-ai` 配置行。
- 卸载插件:
dsh plugin --profile web remove dsh-cloud-model-providers
配置与使用¶
插件需要通过环境变量提供凭证,并在配置中选择对应的路由和模型。
- 设置环境变量:
在启动 DSH 前设置 API Key:
export MAAS_API_KEY='your-maas-key'
export NVIDIA_API_KEY='your-nvidia-key'
或者在 Web 界面的“模型设置”页面中直接填写。
-
选择模型:
在 DSH 的模型列表中,根据协议选择对应的路由:- ant-maas-responses:用于 OpenAI Responses over SSE 协议,默认模型为
lingdt-3.0-flash。 - ant-maas-chat:用于 Chat Completions over SSE 协议,默认模型为
qwen3.6-plus。 - nvidia:用于 Chat Completions over SSE,模型来源取决于 DSH 已安装的
pi-ai目录。
如果是 Headless 模式,可以在
cordis.patch.yml中指定默认模型: - ant-maas-responses:用于 OpenAI Responses over SSE 协议,默认模型为
- id: agent-default-model
config:
provider: ant-maas-responses
model: lingdt-3.0-flash
注意事项¶
- 不部署容器:插件仅作为网络客户端调用官方 API,不部署自托管的 NVIDIA NIM 容器。
- 模型列表:预配置的 MaaS 模型列表较小,其他模型需在 DSH 设置中添加并自行确认协议支持。
- 协议变动:MaaS 模型的可用性和协议支持可能会随官方文档变化,使用前请查阅官方目录。
总结¶
该插件通过声明式配置扩展了 DSH 的模型接入能力,使得开发者能够无缝使用 Ant Digital MaaS 和 NVIDIA NIM 的流式模型接口。更多技术细节和源码可参考官方仓库。