arcships/dsh-llm-aimux

前言

DeepSeek Harness (dsh) 采用插件化架构,旨在将各种能力模块化。dsh-llm-aimux 是一个 LLM 适配器,它将 Rust 引擎 aimux 接入 DSH。这个插件将 325+ AI 提供商作为 dsh 模型路由暴露出来。它允许开发者通过 DSH 的统一接口访问广泛的模型提供商,而无需为每个提供商单独配置。

核心功能

该插件提供以下能力:
* 流式聊天与工具调用
* 推理块(入站和出站)
* 分离的 Token 使用量统计(缓存读/写分开)
* 出站提供商请求上的归因头
* 设置集成
* 模型元数据合并
* 每路由端点覆盖
* 流式块空闲看门狗

安装与启用

通过以下命令安装插件:

dsh plugin --profile web add @arcships/dsh-llm-aimux

安装后,可以通过环境变量存储凭证(例如 DEEPSEEK_API_KEY)或在设置中配置凭证。启动 dsh:

dsh --profile web

然后导航到“Models”页面来配置提供商。

配置方法

路由通过 dsh provider id 键值,每个映射到一个 aimux provider。
在 settings.yaml 的基础层,结构如下:

- insert:
    - id: llm-aimux
      name: '@arcships/dsh-llm-aimux'
      config:
        providers:
          deepseek:                    # dsh route id
            provider: deepseek         # aimux provider name
            apiKeyEnv: DEEPSEEK_API_KEY
          kimi:
            provider: moonshot
          groq:
            displayName: Groq

在用户设置层,可以配置参数和端点覆盖:

llm-aimux:
  streamIdleTimeoutMs: 300000
  providers:
    groq: {}
    relay:                        # endpoint override
      provider: deepseek
      baseUrl: https://relay.example/v1
      headers:
        X-Org: acme

provider 字段指定 aimux provider 名称。aimux 内置了 325+ 提供商。凭证通过 harness ctx.credentials 装缝解析,否则回退到环境变量。

限制与注意事项

  • 开发者预览:当前处于开发者预览状态,预期会有破坏性变更。
  • 不支持:图像输入、订阅/OAuth 渠道、草稿路由的端点探测。
  • 冲突:路由不能与内置的 llm-pi-ai 路由重叠。

参考资源

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜