dsh-lmstudio-router:將高 Token 消耗任務路由至本地 LM Studio 的 DSH 插件

前言

在本地智能體開發中,直接調用遠程 API 處理高 Token 消耗的任務(如文本壓縮、會話標題生成)成本較高。DSH 的插件化架構允許用戶自定義行爲。這裏介紹一個路由插件,它允許將這類“不緊要但耗 Token”的任務攔截並轉發給本地運行的 LM Studio。

插件介紹

dsh-lmstudio-router 是一個針對 DSH Web GUI 的本地模型路由器,由 xiaoyizhuang03-droid 維護。它將非關鍵但 Token 消耗大的請求(批量文本工作、壓縮、會話標題)路由到本地 LM Studio 模型,通過其 OpenAI 兼容的 /v1 端點執行,並在 LM Studio 未運行時自動啓動。

核心功能

  1. 智能路由:將 token-expensive 的任務(文本工作、壓縮、會話標題)路由至本地 LM Studio 模型。
  2. 自動啓動:當 LM Studio 未運行時,插件會自動啓動它。
  3. 上下文適配:將每個本地請求適配到模型的上下文窗口(默認 8192)。
  4. 零依賴:這是一個無依賴的主機插件。

安裝與啓用

通過命令行添加插件:

dsh plugin --profile web add link:<path-to-this-package>

安裝後,需要在配置文件中添加覆蓋。編輯 ~/.dsh/profiles/web/cordis.patch.yml:

- id: lmstudio-router
  name: 'dsh-lmstudio-router'
  config:
    baseUrl: http://127.0.0.1:1234/v1
    model: qwen3.5-9b
    contextWindow: 8192
    autoLaunch: true

保存文件後,重啓 dsh web 服務。

典型用法

配置生效後,可以通過在用戶消息的開頭使用強制路由標記來控制請求去向。支持的標記包括:
- [local] 或 local:
- [remote] 或 remote:

例如,發送包含 [local] 的消息,會將該任務路由至本地 LM Studio;否則使用默認路由策略。

適用場景與注意事項

適用場景:
- 需要處理大量文本摘要、壓縮等高 Token 消耗任務。
- 希望利用本地算力,降低遠程 API 調用成本。

注意事項:
- 運行環境需滿足 Node.js 版本要求(^22.19.0 或 >=24.0.0)。
- 本地 LM Studio 必須運行在 http://127.0.0.1:1234/v1,並配置 OpenAI 兼容的 /v1 接口。
- 插件以當前 dsh 進程權限運行,安裝前建議檢查源碼與許可證。

結語

這是一個輕量級的路由方案,適合希望節省遠程 API 成本、利用本地算力的開發者。更多細節可訪問 GitHub 倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜