dsh-plugin-llmtr:LLMTR AI 网关提供者

前言

在使用 DeepSeek Harness 开发智能体时,如果需要调用多个不同厂商的模型,通常需要为每个厂商配置独立的路由。LLMTR 插件提供了一个统一的 AI 网关接口,通过一个 API Key 即可接入超过 170 个聊天模型。它将 LLMTR 的模型列表注册为 DSH 的 llm 提供者路由,使得模型选择器可以像管理本地模型一样管理这些网关模型。

功能概览

  • OpenAI 兼容网关:作为一个 OpenAI 兼容的 AI 网关,它支持通过标准接口调用模型。
  • 统一路由注册:插件会将模型注册在 ctx.llm 下,使其在 DSH 的模型选择器中可用。
  • 丰富的模型支持:支持 OpenAI、Anthropic、Google、Qwen、Mistral、xAI 等超过 170 个聊天模型。
  • 土耳其本地化:支持 LLMTR 在土耳其基础设施上托管的模型,适合对数据驻留有要求的场景。
  • 聊天补全与文本交互:仅支持聊天补全(Chat Completions)和纯文本输入输出。图像、视频、重排序等模型虽在列表中但无法路由。

安装与启用

  1. 通过 CLI 安装插件:
    dsh plugin add dsh-plugin-llmtr
该包包含一个补丁,`plugin add` 会自动插入配置行。
  1. 在 DSH 中打开 Settings -> Models,找到 LLMTR 卡片。

  2. 粘贴 LLMTR 的 API Key 并保存。Key 会存储在 $DSH_HOME/.credentials.yaml 中。

配置说明

插件的所有配置项位于 $DSH_HOME/settings.yaml 的 llm-llmtr 段落中(或插件行的 config 字段内),修改后无需重启,下一条请求即可生效。

1. API Key 引用

llm-llmtr:
  apiKeyEnv: LLMTR_API_KEY

配置 apiKeyEnv 指定环境变量名,DSH 会在运行时从该环境变量中读取 API Key。默认值为 LLMTR_API_KEY。

2. 模型列表过滤

使用 catalogScope 控制模型列表的范围:
* chat:仅显示聊天模型(默认)。
* turkey-hosted:仅显示 LLMTR 在土耳其基础设施上托管的模型。
* all:显示所有模型(包括嵌入、图像等,但后者不可路由)。

3. 固定模型列表

如果需要严格限定可用模型,使用 models 数组。非空数组会完全替换网关的实时列表:

llm-llmtr:
  models:
    - id: llmtr/muse-glimmer-30b-tr
      name: Muse Glimmer 30B
      contextWindow: 32768
    - id: llmtr/trendyol-asure-12b

4. 推理能力配置

  • 推理输出:无需配置,插件会自动解析并展示推理模型的 reasoning_content 和 reasoning 字段。
  • 推理级别选择:选择推理级别(如 low, medium, high)是可选的。需在 reasoningEfforts 中声明支持的级别,选择器才会提供对应选项。

5. 上下文窗口

若网关未提供上下文窗口信息,默认使用 131072。可通过 modelOverrides 为特定模型修正:

llm-llmtr:
  modelOverrides:
    openai/gpt-5.4:
      contextWindow: 400000

注意事项

  • 功能范围:该插件仅支持聊天补全(Chat Completions)和文本输入输出。图像、视频、重排序等模型虽然可能出现在列表中,但无法被路由。
  • 隐私:请求头中仅包含标准的 User-Agent、x-llmtr-client 以及 API Key,不会携带会话 ID、提示文本、文件路径或用户标识符。
  • 许可证:插件基于 MIT 许可证发布,部分代码引用自 DeepSeek Harness(详见 NOTICE)。
  • 运行权限:安装前请确认插件源码与许可证符合你的使用规范。

总结

该插件通过引入 LLMTR 网关,解决了在 DSH 中统一管理多个异构模型入口的问题。它保持了 DSH 的插件化架构,让模型选择器无缝支持第三方网关。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜