DeepSeek Harness 插件：qwen3.8-27b 上下文壓縮修復

前言¶

DeepSeek Harness (DSH) 使用上下文壓縮來節省長對話的 token。然而，本地部署的 qwen3.8-27b 模型（特別是運行在 NInfer 引擎上時）默認推理級別爲 xhigh。這導致模型在生成摘要前耗盡輸出 token 預算，致使壓縮檢查點被截斷，丟失上下文信息。

這是什麼¶

這是 zhubaohi 維護的 DSH 插件，用於修復由 Neroued 的 NInfer 引擎提供服務的 qwen3.8-27b 網關的壓縮失敗問題。該插件通過調整推理策略，確保壓縮和標題生成能正常完成。

核心功能¶

禁用思考以節省預算：僅對上下文壓縮和會話標題生成調用禁用思考，防止 xhigh 推理級別耗盡輸出預算。
應用推薦採樣參數：針對非思考模式應用模型推薦的採樣參數（如 temperature: 0.7, top_p: 0.8 等）。
提升輸出上限：將壓縮請求的 max_tokens 提升到可配置的下限（默認 16384），防止上下文被過度壓縮。
修復標題生成：通過控制標題請求中的推理強度，修復標題生成被截斷的問題。
作用域限制：僅作用於 NInfer 引擎網關。
嚴格匹配模型：需要配置與模型 ID 完全一致的匹配規則。

安裝與啓用¶

通過 CLI 安裝插件。安裝後需重啓 dsh web 或刷新 GUI 頁面以生效。

dsh plugin --profile web add dsh-qwen38-ninfer-compaction-fix

配置與用法¶

插件需要在配置文件中指定目標模型 ID，採樣參數，以及輸出上限。

1. 配置 settings.yaml¶

在 $DSH_HOME/settings.yaml 中添加配置。該配置支持熱加載（無需重啓）。

qwen38-compaction-fix:
  effort: off            # 推理強度設爲 off
  models: [qwen3.8-27b]  # 精確匹配的模型 ID
  sampling:              # 寫入請求體的採樣參數
    temperature: 0.7
    top_p: 0.8
    top_k: 20
    min_p: 0.0
    presence_penalty: 1.5
    repetition_penalty: 1.0
  maxTokensFloor: 16384  # 輸出 token 下限
  titleReasoning: none   # 標題生成推理強度

2. 配置 cordis.patch.yml¶

也可以在 cordis.patch.yml 中配置。這會在下一次 GUI 加載時生效。

- id: qwen38-compaction-fix
  config:
    models: [qwen3.8-27b]

注意事項¶

引擎限制：插件僅兼容 NInfer 引擎網關。如果使用 llama.cpp、vLLM 等其他引擎啓動，雖然思路相同，但需自行適配參數。
重啓生效：安裝後必須重啓 dsh web 進程或刷新界面。
模型 ID 匹配：插件會對請求中的 model 字段進行精確匹配。如果配置的 ID 不匹配（例如大小寫不同），插件將靜默放行請求，不做任何修改。若遇到壓縮截斷問題，請首先檢查模型 ID 配置是否正確。