@richie.liu/dsh-hybrid-coder:雙模型路由策略插件

前言

在開發 DeepSeek Harness (DSH) 代理時,爲所有步驟使用昂貴的高級模型既浪費資源,又可能降低響應速度。本地模型成本更低,但在複雜規劃或錯誤恢復方面可能能力不足。@richie.liu/dsh-hybrid-coder 插件實現了雙模型路由策略:高級模型處理計劃和緊急情況,而本地小模型(如 Ollama)執行普通步驟。

核心功能

該插件是一個路由策略,而非模型傳輸。它通過重寫每一步請求的目標 provider/model 來控制路由。主要功能包括:

  • 雙模型路由:根據優先級(計劃模式或升級觸發器)在高級和本地路由之間切換。
  • 計劃模式升級:當計劃模式處於活動狀態時,強制使用高級模型。
  • 連續失敗閾值:如果本地模型在單輪對話中連續工具執行失敗達到閾值,則升級到高級模型。
  • 請求級回退:處理本地提供商的傳輸級故障(如超時或連接拒絕)。
  • 降級:在高級模型成功執行特定次數後,自動降級回本地模型。
  • 系統提示身份同步:確保系統提示反映當前路由,以避免身份混淆。

安裝與啓用

使用官方安裝命令將該插件添加到目標配置文件中。

dsh plugin --profile web add @richie.liu/dsh-hybrid-coder

配置與用法

在 DSH 的配置文件中定義 premium 和 local 路由。premium.provider 和 local.provider 必須是已註冊的 LLM 適配器路由。

- id: hybrid-coder
  name: '@richie.liu/dsh-hybrid-coder'
  config:
    premium:
      provider: glm
      model: glm-4-plus
      reasoningEffort: high        # 可選,未設置則使用提供商默認值
    local:
      provider: ollama
      model: qwen2.5-coder:7b
    escalation:
      failureThreshold: 2                  # 單輪對話中連續失敗的閾值
      premiumStepsBeforeDeescalation: 2    # 連續成功的高級模型步驟閾值

注意事項

  • 實驗性狀態:該插件處於實驗階段。公開契約可能會改變,且它未隨官方發佈附帶。
  • 配置容錯:未知配置鍵在加載時會失敗。
  • 已知限制:在請求級回退期間,系統提示中的身份文本可能會出現短暫的“方向性偏移”(即切換到高級模型後,身份文本仍可能短暫引用本地模型),這是由於重試步驟的上下文引起的,屬於良性偏移。
  • 許可證:MIT 許可證。

總結

該插件允許您在 DSH 代理中實現成本效益和可靠性的平衡。更多技術細節和源碼,請參考 GitHub 倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜