前言¶
DeepSeek Harness (dsh) 採用插件化架構,旨在將各種能力模塊化。dsh-llm-aimux 是一個 LLM 適配器,它將 Rust 引擎 aimux 接入 DSH。這個插件將 325+ AI 提供商作爲 dsh 模型路由暴露出來。它允許開發者通過 DSH 的統一接口訪問廣泛的模型提供商,而無需爲每個提供商單獨配置。
核心功能¶
該插件提供以下能力:
* 流式聊天與工具調用
* 推理塊(入站和出站)
* 分離的 Token 使用量統計(緩存讀/寫分開)
* 出站提供商請求上的歸因頭
* 設置集成
* 模型元數據合併
* 每路由端點覆蓋
* 流式塊空閒看門狗
安裝與啓用¶
通過以下命令安裝插件:
dsh plugin --profile web add @arcships/dsh-llm-aimux
安裝後,可以通過環境變量存儲憑證(例如 DEEPSEEK_API_KEY)或在設置中配置憑證。啓動 dsh:
dsh --profile web
然後導航到“Models”頁面來配置提供商。
配置方法¶
路由通過 dsh provider id 鍵值,每個映射到一個 aimux provider。
在 settings.yaml 的基礎層,結構如下:
- insert:
- id: llm-aimux
name: '@arcships/dsh-llm-aimux'
config:
providers:
deepseek: # dsh route id
provider: deepseek # aimux provider name
apiKeyEnv: DEEPSEEK_API_KEY
kimi:
provider: moonshot
groq:
displayName: Groq
在用戶設置層,可以配置參數和端點覆蓋:
llm-aimux:
streamIdleTimeoutMs: 300000
providers:
groq: {}
relay: # endpoint override
provider: deepseek
baseUrl: https://relay.example/v1
headers:
X-Org: acme
provider 字段指定 aimux provider 名稱。aimux 內置了 325+ 提供商。憑證通過 harness ctx.credentials 裝縫解析,否則回退到環境變量。
限制與注意事項¶
- 開發者預覽:當前處於開發者預覽狀態,預期會有破壞性變更。
- 不支持:圖像輸入、訂閱/OAuth 渠道、草稿路由的端點探測。
- 衝突:路由不能與內置的
llm-pi-ai路由重疊。