dsh-context-budget:DSH 模型上下文窗口與壓縮閾值設置
`dsh-context-budget` 插件旨在解決 DSH 中手動配置第三方網關時模型 ID 與目錄不匹配導致的默認上下文窗口問題。該插件爲 pi-ai 提供商卡片增加了直觀的配置組,可設置上下文窗口、壓縮閾值(支持保留預算)及思考努力控制。安裝後,配置會自動寫入 `cordis.patch.yml` 並進行校驗,支持多種供應商的思考級別調節。插件僅適用於 pi-ai 路由,卸載後持久化配置需手動清理。
閱讀全文dsh-context-budget:保持本地模型上下文在 GPU 可控範圍內的插件
`dsh-context-budget` 插件旨在解決本地模型在長上下文下性能急劇下降的問題。它通過測量預填充速度,設置了硬性 token 上限、首字延遲及冷預填充時間等檢查機制。當超限時,支持打印警告或執行壓縮,從而將上下文控制在 GPU 可處理的範圍內。該插件與 `compaction-basic` 共存,提供 `/context-budget` 命令監控狀態,幫助用戶優化本地大模型的使用體驗。
閱讀全文