前言¶
在本地智能體開發中,直接調用遠程 API 處理高 Token 消耗的任務(如文本壓縮、會話標題生成)成本較高。DSH 的插件化架構允許用戶自定義行爲。這裏介紹一個路由插件,它允許將這類“不緊要但耗 Token”的任務攔截並轉發給本地運行的 LM Studio。
插件介紹¶
dsh-lmstudio-router 是一個針對 DSH Web GUI 的本地模型路由器,由 xiaoyizhuang03-droid 維護。它將非關鍵但 Token 消耗大的請求(批量文本工作、壓縮、會話標題)路由到本地 LM Studio 模型,通過其 OpenAI 兼容的 /v1 端點執行,並在 LM Studio 未運行時自動啓動。
核心功能¶
- 智能路由:將 token-expensive 的任務(文本工作、壓縮、會話標題)路由至本地 LM Studio 模型。
- 自動啓動:當 LM Studio 未運行時,插件會自動啓動它。
- 上下文適配:將每個本地請求適配到模型的上下文窗口(默認 8192)。
- 零依賴:這是一個無依賴的主機插件。
安裝與啓用¶
通過命令行添加插件:
dsh plugin --profile web add link:<path-to-this-package>
安裝後,需要在配置文件中添加覆蓋。編輯 ~/.dsh/profiles/web/cordis.patch.yml:
- id: lmstudio-router
name: 'dsh-lmstudio-router'
config:
baseUrl: http://127.0.0.1:1234/v1
model: qwen3.5-9b
contextWindow: 8192
autoLaunch: true
保存文件後,重啓 dsh web 服務。
典型用法¶
配置生效後,可以通過在用戶消息的開頭使用強制路由標記來控制請求去向。支持的標記包括:
- [local] 或 local:
- [remote] 或 remote:
例如,發送包含 [local] 的消息,會將該任務路由至本地 LM Studio;否則使用默認路由策略。
適用場景與注意事項¶
適用場景:
- 需要處理大量文本摘要、壓縮等高 Token 消耗任務。
- 希望利用本地算力,降低遠程 API 調用成本。
注意事項:
- 運行環境需滿足 Node.js 版本要求(^22.19.0 或 >=24.0.0)。
- 本地 LM Studio 必須運行在 http://127.0.0.1:1234/v1,並配置 OpenAI 兼容的 /v1 接口。
- 插件以當前 dsh 進程權限運行,安裝前建議檢查源碼與許可證。
結語¶
這是一個輕量級的路由方案,適合希望節省遠程 API 成本、利用本地算力的開發者。更多細節可訪問 GitHub 倉庫。