前言¶
DeepSeek Harness (DSH) 的核心設計理念是“一切皆插件”。在模型推理場景下，手動爲不同請求配置推理級別（如 Off、Low、Medium、High）既繁瑣，又可能因頻繁切換模型或配置而帶來額外的延遲與資源開銷。dsh-adaptive-reasoning 插件旨在解決這一痛點，它能在不進行額外的模型調用、不維持 GPU 激活或運行後臺任務的情況下，自動爲每個請求選擇合適的推理級別。
插件簡介¶
這是一個由 Manolo Remiddi 維護的獨立插件，專注於 DeepSeek Harness 的模型推理自動化。它不需要訓練好的分類器模型，而是通過本地規則識別任務族，並利用 DSH 現有的模型進行推理級別的自動選擇。
核心功能¶
- 自動推理選擇：插件會根據任務類型自動選擇推理級別。它利用現有模型進行判斷，而不是引入新的分類器。
- 任務族識別：能夠識別具有特定規則的本地任務族（例如對話問候、文本重寫、摘要、提示詞改進等），並應用相應的本地規則。
- 決策記錄與度量：在請求處理過程中，插件會在側車文件中記錄推理決策（
adaptive-reasoning/decision）以及時間和字符統計（adaptive-reasoning/measurement），不復制提示或回答的原始文本。 - 生命週期集成：支持 DSH 的生命週期鉤子和請求鉤子，以及工具防護機制。
- 靈活配置：支持通過
enabled、textOnly、presets和routes等配置項進行控制。
安裝與啓用¶
安裝前請確保已安裝 Node.js (>=22.18.0) 並完成 DSH 環境的部署。
- 打包插件：進入插件源碼目錄，執行打包命令。
npm pack
這將生成 `dsh-adaptive-reasoning-0.2.3.tgz` 文件。
- 添加插件：使用
dsh plugin命令將生成的 tarball 安裝到 DSH 中。
dsh plugin --profile web add /absolute/path/dsh-adaptive-reasoning-0.2.3.tgz --ignore-scripts --config.auto-install-peers=false
*注意：路徑請替換爲實際的絕對路徑。安裝後需要重啓 DSH 才能生效，且安裝前應完成所有正在運行的任務。*
典型用法¶
插件配置完成後，無需在每次請求時手動調整推理級別。可以通過以下方式進行調試和驗證：
- 讀取報告：使用提供的報告腳本讀取側車文件中的決策和測量數據。
npm run report
默認情況下，該命令讀取當前和之前的側車文件。
- 配置路由：需要在配置中定義具體的提供者/模型/努力級別映射。插件會根據這些規則自動管理路由上的推理級別，而不改變未配置的路由。
適用場景與注意事項¶
- 適用場景：需要自動化推理級別管理的場景，特別是希望減少手動干預、避免頻繁切換模型配置的開發者。
- 保守預覽：當前版本（0.2.3）爲保守的預覽版，並非經過充分訓練或完美的難度估計器。
- 不保證語義正確性：插件不會保證最終答案的語義正確性或驗證每一個答案。
- 模型配置依賴：要啓用自動努力級別更改，必須爲模型設置特定的配置。
- 日誌位置：診斷日誌存儲在
$XDG_STATE_HOME/dsh-adaptive-reasoning/telemetry.l。 - 權限與回放：插件未引入自動重放已完成操作或放寬權限的功能。
總結¶
dsh-adaptive-reasoning 爲 DSH 用戶提供了自動推理管理的方案，通過本地規則和側車文件記錄實現了輕量級的自動化。如果你正在尋找一種減少手動配置、提升推理效率的方法，可以參考其 GitHub 倉庫 進行試用。
