arcships/dsh-llm-aimux

前言

DeepSeek Harness (dsh) 採用插件化架構,旨在將各種能力模塊化。dsh-llm-aimux 是一個 LLM 適配器,它將 Rust 引擎 aimux 接入 DSH。這個插件將 325+ AI 提供商作爲 dsh 模型路由暴露出來。它允許開發者通過 DSH 的統一接口訪問廣泛的模型提供商,而無需爲每個提供商單獨配置。

核心功能

該插件提供以下能力:
* 流式聊天與工具調用
* 推理塊(入站和出站)
* 分離的 Token 使用量統計(緩存讀/寫分開)
* 出站提供商請求上的歸因頭
* 設置集成
* 模型元數據合併
* 每路由端點覆蓋
* 流式塊空閒看門狗

安裝與啓用

通過以下命令安裝插件:

dsh plugin --profile web add @arcships/dsh-llm-aimux

安裝後,可以通過環境變量存儲憑證(例如 DEEPSEEK_API_KEY)或在設置中配置憑證。啓動 dsh:

dsh --profile web

然後導航到“Models”頁面來配置提供商。

配置方法

路由通過 dsh provider id 鍵值,每個映射到一個 aimux provider。
在 settings.yaml 的基礎層,結構如下:

- insert:
    - id: llm-aimux
      name: '@arcships/dsh-llm-aimux'
      config:
        providers:
          deepseek:                    # dsh route id
            provider: deepseek         # aimux provider name
            apiKeyEnv: DEEPSEEK_API_KEY
          kimi:
            provider: moonshot
          groq:
            displayName: Groq

在用戶設置層,可以配置參數和端點覆蓋:

llm-aimux:
  streamIdleTimeoutMs: 300000
  providers:
    groq: {}
    relay:                        # endpoint override
      provider: deepseek
      baseUrl: https://relay.example/v1
      headers:
        X-Org: acme

provider 字段指定 aimux provider 名稱。aimux 內置了 325+ 提供商。憑證通過 harness ctx.credentials 裝縫解析,否則回退到環境變量。

限制與注意事項

  • 開發者預覽:當前處於開發者預覽狀態,預期會有破壞性變更。
  • 不支持:圖像輸入、訂閱/OAuth 渠道、草稿路由的端點探測。
  • 衝突:路由不能與內置的 llm-pi-ai 路由重疊。

參考資源

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜