前言¶
DeepSeek Harness (dsh) 采用插件化架构,旨在将各种能力模块化。dsh-llm-aimux 是一个 LLM 适配器,它将 Rust 引擎 aimux 接入 DSH。这个插件将 325+ AI 提供商作为 dsh 模型路由暴露出来。它允许开发者通过 DSH 的统一接口访问广泛的模型提供商,而无需为每个提供商单独配置。
核心功能¶
该插件提供以下能力:
* 流式聊天与工具调用
* 推理块(入站和出站)
* 分离的 Token 使用量统计(缓存读/写分开)
* 出站提供商请求上的归因头
* 设置集成
* 模型元数据合并
* 每路由端点覆盖
* 流式块空闲看门狗
安装与启用¶
通过以下命令安装插件:
dsh plugin --profile web add @arcships/dsh-llm-aimux
安装后,可以通过环境变量存储凭证(例如 DEEPSEEK_API_KEY)或在设置中配置凭证。启动 dsh:
dsh --profile web
然后导航到“Models”页面来配置提供商。
配置方法¶
路由通过 dsh provider id 键值,每个映射到一个 aimux provider。
在 settings.yaml 的基础层,结构如下:
- insert:
- id: llm-aimux
name: '@arcships/dsh-llm-aimux'
config:
providers:
deepseek: # dsh route id
provider: deepseek # aimux provider name
apiKeyEnv: DEEPSEEK_API_KEY
kimi:
provider: moonshot
groq:
displayName: Groq
在用户设置层,可以配置参数和端点覆盖:
llm-aimux:
streamIdleTimeoutMs: 300000
providers:
groq: {}
relay: # endpoint override
provider: deepseek
baseUrl: https://relay.example/v1
headers:
X-Org: acme
provider 字段指定 aimux provider 名称。aimux 内置了 325+ 提供商。凭证通过 harness ctx.credentials 装缝解析,否则回退到环境变量。
限制与注意事项¶
- 开发者预览:当前处于开发者预览状态,预期会有破坏性变更。
- 不支持:图像输入、订阅/OAuth 渠道、草稿路由的端点探测。
- 冲突:路由不能与内置的
llm-pi-ai路由重叠。