前言¶
在開發 DeepSeek Harness (DSH) 代理時,爲所有步驟使用昂貴的高級模型既浪費資源,又可能降低響應速度。本地模型成本更低,但在複雜規劃或錯誤恢復方面可能能力不足。@richie.liu/dsh-hybrid-coder 插件實現了雙模型路由策略:高級模型處理計劃和緊急情況,而本地小模型(如 Ollama)執行普通步驟。
核心功能¶
該插件是一個路由策略,而非模型傳輸。它通過重寫每一步請求的目標 provider/model 來控制路由。主要功能包括:
- 雙模型路由:根據優先級(計劃模式或升級觸發器)在高級和本地路由之間切換。
- 計劃模式升級:當計劃模式處於活動狀態時,強制使用高級模型。
- 連續失敗閾值:如果本地模型在單輪對話中連續工具執行失敗達到閾值,則升級到高級模型。
- 請求級回退:處理本地提供商的傳輸級故障(如超時或連接拒絕)。
- 降級:在高級模型成功執行特定次數後,自動降級回本地模型。
- 系統提示身份同步:確保系統提示反映當前路由,以避免身份混淆。
安裝與啓用¶
使用官方安裝命令將該插件添加到目標配置文件中。
dsh plugin --profile web add @richie.liu/dsh-hybrid-coder
配置與用法¶
在 DSH 的配置文件中定義 premium 和 local 路由。premium.provider 和 local.provider 必須是已註冊的 LLM 適配器路由。
- id: hybrid-coder
name: '@richie.liu/dsh-hybrid-coder'
config:
premium:
provider: glm
model: glm-4-plus
reasoningEffort: high # 可選,未設置則使用提供商默認值
local:
provider: ollama
model: qwen2.5-coder:7b
escalation:
failureThreshold: 2 # 單輪對話中連續失敗的閾值
premiumStepsBeforeDeescalation: 2 # 連續成功的高級模型步驟閾值
注意事項¶
- 實驗性狀態:該插件處於實驗階段。公開契約可能會改變,且它未隨官方發佈附帶。
- 配置容錯:未知配置鍵在加載時會失敗。
- 已知限制:在請求級回退期間,系統提示中的身份文本可能會出現短暫的“方向性偏移”(即切換到高級模型後,身份文本仍可能短暫引用本地模型),這是由於重試步驟的上下文引起的,屬於良性偏移。
- 許可證:MIT 許可證。
總結¶
該插件允許您在 DSH 代理中實現成本效益和可靠性的平衡。更多技術細節和源碼,請參考 GitHub 倉庫。