DeepSeek Harness 插件:接入 Ant Digital MaaS 與 NVIDIA NIM

前言

DeepSeek Harness (DSH) 的插件化架構允許開發者通過配置擴展模型路由能力。在需要接入 Ant Digital MaaS 或 NVIDIA NIM 時,通常需要手動配置適配器或添加額外的 HTTP 代理。dsh-cloud-model-providers 插件通過複用 DSH 內置的 llm-pi-ai 適配器,實現了對這兩類服務的流式模型路由接入,並保持了憑證管理和流式傳輸邏輯的統一。

插件定位

插件名稱:bitdg/dsh-cloud-model-providers
維護者:BitDG
許可證:MIT
核心功能:爲 DSH 的 web 或 headless 配置文件添加 Ant Digital MaaS 和 NVIDIA NIM 的模型路由。

核心能力

  1. 模型路由支持:提供 ant-maas-responses、ant-maas-chat 和 nvidia 三種路由。
  2. 協議兼容:支持 OpenAI Responses over SSE 和 Chat Completions over SSE 協議。
  3. 功能完備:兼容 DSH 的 llm-pi-ai 適配器,原生支持流式傳輸、工具調用、使用統計和請求取消。
  4. 憑證管理:不存儲 API 密鑰,必須通過環境變量或 DSH 設置提供。

安裝與啓用

插件以聲明式配置層(cordis.patch.yml)的形式工作,安裝後即激活。

  1. 安裝插件:
    dsh plugin --profile web add github:BitDG/dsh-cloud-model-providers
此命令會將插件安裝到 `web` 配置文件中,並激活其聲明的配置層。
  1. 驗證安裝:
    在啓動應用前,檢查配置是否生效:
    dsh --profile web --dump-config
輸出中應包含 `# == @deepseek-ai/dsh-base, patched by dsh-cloud-model-providers` 標記,以及被修改的 `llm-pi-ai` 配置行。
  1. 卸載插件:
    dsh plugin --profile web remove dsh-cloud-model-providers

配置與使用

插件需要通過環境變量提供憑證,並在配置中選擇對應的路由和模型。

  1. 設置環境變量:
    在啓動 DSH 前設置 API Key:
    export MAAS_API_KEY='your-maas-key'
    export NVIDIA_API_KEY='your-nvidia-key'
或者在 Web 界面的“模型設置”頁面中直接填寫。
  1. 選擇模型:
    在 DSH 的模型列表中,根據協議選擇對應的路由:

    • ant-maas-responses:用於 OpenAI Responses over SSE 協議,默認模型爲 lingdt-3.0-flash。
    • ant-maas-chat:用於 Chat Completions over SSE 協議,默認模型爲 qwen3.6-plus。
    • nvidia:用於 Chat Completions over SSE,模型來源取決於 DSH 已安裝的 pi-ai 目錄。

    如果是 Headless 模式,可以在 cordis.patch.yml 中指定默認模型:

    - id: agent-default-model
      config:
        provider: ant-maas-responses
        model: lingdt-3.0-flash

注意事項

  • 不部署容器:插件僅作爲網絡客戶端調用官方 API,不部署自託管的 NVIDIA NIM 容器。
  • 模型列表:預配置的 MaaS 模型列表較小,其他模型需在 DSH 設置中添加並自行確認協議支持。
  • 協議變動:MaaS 模型的可用性和協議支持可能會隨官方文檔變化,使用前請查閱官方目錄。

總結

該插件通過聲明式配置擴展了 DSH 的模型接入能力,使得開發者能夠無縫使用 Ant Digital MaaS 和 NVIDIA NIM 的流式模型接口。更多技術細節和源碼可參考官方倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜