前言¶
在使用 DeepSeek Harness 開發智能體時，如果需要調用多個不同廠商的模型，通常需要爲每個廠商配置獨立的路由。LLMTR 插件提供了一個統一的 AI 網關接口，通過一個 API Key 即可接入超過 170 個聊天模型。它將 LLMTR 的模型列表註冊爲 DSH 的 llm 提供者路由，使得模型選擇器可以像管理本地模型一樣管理這些網關模型。
功能概覽¶
- OpenAI 兼容網關：作爲一個 OpenAI 兼容的 AI 網關，它支持通過標準接口調用模型。
- 統一路由註冊：插件會將模型註冊在
ctx.llm下，使其在 DSH 的模型選擇器中可用。 - 豐富的模型支持：支持 OpenAI、Anthropic、Google、Qwen、Mistral、xAI 等超過 170 個聊天模型。
- 土耳其本地化：支持 LLMTR 在土耳其基礎設施上託管的模型，適合對數據駐留有要求的場景。
- 聊天補全與文本交互：僅支持聊天補全（Chat Completions）和純文本輸入輸出。圖像、視頻、重排序等模型雖在列表中但無法路由。
安裝與啓用¶
- 通過 CLI 安裝插件：
dsh plugin add dsh-plugin-llmtr
該包包含一個補丁，`plugin add` 會自動插入配置行。
-
在 DSH 中打開 Settings -> Models，找到 LLMTR 卡片。
-
粘貼 LLMTR 的 API Key 並保存。Key 會存儲在
$DSH_HOME/.credentials.yaml中。
配置說明¶
插件的所有配置項位於 $DSH_HOME/settings.yaml 的 llm-llmtr 段落中（或插件行的 config 字段內），修改後無需重啓，下一條請求即可生效。
1. API Key 引用¶
llm-llmtr:
apiKeyEnv: LLMTR_API_KEY
配置 apiKeyEnv 指定環境變量名，DSH 會在運行時從該環境變量中讀取 API Key。默認值爲 LLMTR_API_KEY。
2. 模型列表過濾¶
使用 catalogScope 控制模型列表的範圍：
* chat：僅顯示聊天模型（默認）。
* turkey-hosted：僅顯示 LLMTR 在土耳其基礎設施上託管的模型。
* all：顯示所有模型（包括嵌入、圖像等，但後者不可路由）。
3. 固定模型列表¶
如果需要嚴格限定可用模型，使用 models 數組。非空數組會完全替換網關的實時列表：
llm-llmtr:
models:
- id: llmtr/muse-glimmer-30b-tr
name: Muse Glimmer 30B
contextWindow: 32768
- id: llmtr/trendyol-asure-12b
4. 推理能力配置¶
- 推理輸出：無需配置，插件會自動解析並展示推理模型的
reasoning_content和reasoning字段。 - 推理級別選擇：選擇推理級別（如 low, medium, high）是可選的。需在
reasoningEfforts中聲明支持的級別，選擇器纔會提供對應選項。
5. 上下文窗口¶
若網關未提供上下文窗口信息，默認使用 131072。可通過 modelOverrides 爲特定模型修正：
llm-llmtr:
modelOverrides:
openai/gpt-5.4:
contextWindow: 400000
注意事項¶
- 功能範圍：該插件僅支持聊天補全（Chat Completions）和文本輸入輸出。圖像、視頻、重排序等模型雖然可能出現在列表中，但無法被路由。
- 隱私：請求頭中僅包含標準的
User-Agent、x-llmtr-client以及 API Key，不會攜帶會話 ID、提示文本、文件路徑或用戶標識符。 - 許可證：插件基於 MIT 許可證發佈，部分代碼引用自 DeepSeek Harness（詳見 NOTICE）。
- 運行權限：安裝前請確認插件源碼與許可證符合你的使用規範。
總結¶
該插件通過引入 LLMTR 網關，解決了在 DSH 中統一管理多個異構模型入口的問題。它保持了 DSH 的插件化架構，讓模型選擇器無縫支持第三方網關。
