前言¶
在使用 DeepSeek Harness 开发智能体时,如果需要调用多个不同厂商的模型,通常需要为每个厂商配置独立的路由。LLMTR 插件提供了一个统一的 AI 网关接口,通过一个 API Key 即可接入超过 170 个聊天模型。它将 LLMTR 的模型列表注册为 DSH 的 llm 提供者路由,使得模型选择器可以像管理本地模型一样管理这些网关模型。
功能概览¶
- OpenAI 兼容网关:作为一个 OpenAI 兼容的 AI 网关,它支持通过标准接口调用模型。
- 统一路由注册:插件会将模型注册在
ctx.llm下,使其在 DSH 的模型选择器中可用。 - 丰富的模型支持:支持 OpenAI、Anthropic、Google、Qwen、Mistral、xAI 等超过 170 个聊天模型。
- 土耳其本地化:支持 LLMTR 在土耳其基础设施上托管的模型,适合对数据驻留有要求的场景。
- 聊天补全与文本交互:仅支持聊天补全(Chat Completions)和纯文本输入输出。图像、视频、重排序等模型虽在列表中但无法路由。
安装与启用¶
- 通过 CLI 安装插件:
dsh plugin add dsh-plugin-llmtr
该包包含一个补丁,`plugin add` 会自动插入配置行。
-
在 DSH 中打开 Settings -> Models,找到 LLMTR 卡片。
-
粘贴 LLMTR 的 API Key 并保存。Key 会存储在
$DSH_HOME/.credentials.yaml中。
配置说明¶
插件的所有配置项位于 $DSH_HOME/settings.yaml 的 llm-llmtr 段落中(或插件行的 config 字段内),修改后无需重启,下一条请求即可生效。
1. API Key 引用¶
llm-llmtr:
apiKeyEnv: LLMTR_API_KEY
配置 apiKeyEnv 指定环境变量名,DSH 会在运行时从该环境变量中读取 API Key。默认值为 LLMTR_API_KEY。
2. 模型列表过滤¶
使用 catalogScope 控制模型列表的范围:
* chat:仅显示聊天模型(默认)。
* turkey-hosted:仅显示 LLMTR 在土耳其基础设施上托管的模型。
* all:显示所有模型(包括嵌入、图像等,但后者不可路由)。
3. 固定模型列表¶
如果需要严格限定可用模型,使用 models 数组。非空数组会完全替换网关的实时列表:
llm-llmtr:
models:
- id: llmtr/muse-glimmer-30b-tr
name: Muse Glimmer 30B
contextWindow: 32768
- id: llmtr/trendyol-asure-12b
4. 推理能力配置¶
- 推理输出:无需配置,插件会自动解析并展示推理模型的
reasoning_content和reasoning字段。 - 推理级别选择:选择推理级别(如 low, medium, high)是可选的。需在
reasoningEfforts中声明支持的级别,选择器才会提供对应选项。
5. 上下文窗口¶
若网关未提供上下文窗口信息,默认使用 131072。可通过 modelOverrides 为特定模型修正:
llm-llmtr:
modelOverrides:
openai/gpt-5.4:
contextWindow: 400000
注意事项¶
- 功能范围:该插件仅支持聊天补全(Chat Completions)和文本输入输出。图像、视频、重排序等模型虽然可能出现在列表中,但无法被路由。
- 隐私:请求头中仅包含标准的
User-Agent、x-llmtr-client以及 API Key,不会携带会话 ID、提示文本、文件路径或用户标识符。 - 许可证:插件基于 MIT 许可证发布,部分代码引用自 DeepSeek Harness(详见 NOTICE)。
- 运行权限:安装前请确认插件源码与许可证符合你的使用规范。
总结¶
该插件通过引入 LLMTR 网关,解决了在 DSH 中统一管理多个异构模型入口的问题。它保持了 DSH 的插件化架构,让模型选择器无缝支持第三方网关。