DeepSeek Harness 雙模型自動路由插件:低成本直連與逃逸學習閉環

前言

DeepSeek Harness (DSH) 採用“一切皆插件”的架構理念。在開發智能體或應用時,開發者常面臨一個具體痛點:直接調用低成本的 Flash 模型速度快但質量不穩定,而調用高成本的 Pro 模型雖然質量高但成本昂貴。需要在成本與質量之間尋找平衡點。

這款插件由 lengquan88 維護,實現了雙模型自動路由。它支持 Flash 模型直連以降低成本,在必要時自動升級至 Pro 模型,並構建了“逃逸學習閉環”機制,防止錯誤答案被重複提交。

核心功能

該插件提供以下核心能力:

  1. 六標準路由決策:根據輸入內容的長度、上下文、領域覆蓋率、規則衝突、置信度及新穎性,生成六個維度的標籤,輔助決策。
  2. 模型調用切換:在 dual_model_run 工具中,系統會先嚐試調用 deepseek-v4-flash 進行直連;若判斷需要升級,則調用 deepseek-v4-pro。若升級調用失敗,會自動降級回 Flash 模型並標記爲 degraded。
  3. 逃逸學習閉環:通過 dual_model_mark 工具,用戶可標記直接結果的正確性。若標記爲 correct=false,系統會學習指紋並寫入日誌,下次遇到相同指紋時強制升級模型,避免再次犯錯。
  4. 持久化存儲與互通:狀態持久化至文件,併兼容 Python dao/model_router.py v2 版本的指紋格式。

安裝與啓用

安裝

在項目目錄下執行以下命令安裝插件:

pnpm add @lengquan88/dsh-dual-auto

啓用

  1. 打開 DSH 項目的配置文件 cordis.patch.yml。
  2. 添加以下內容以註冊插件:
- insert:
    - id: dual-auto
      name: '@lengquan88/dsh-dual-auto'
  1. 重啓 dsh web 服務。

重啓後,以下三個工具將在所有會話中可用:dual_model_route、dual_model_run 和 dual_model_mark。

典型用法

工具說明

  • dual_model_route:執行六標準路由決策,輸出六個維度的標籤。如果指紋曾被標記爲錯誤,該工具會強制標記爲升級。
  • dual_model_run:執行決策與實際模型調用。流程爲:先嚐試 Flash 模型,若決策爲升級則調用 Pro 模型。針對探測任務,系統會自動驗證答案是否正確;若直接答案錯誤,將觸發逃逸學習。
  • dual_model_mark:人工標記直接結果的正確性。輸入 correct=false 會記錄指紋並重寫磁盤日誌標記,確保下次遇到相同指紋時強制升級。

數據持久化

插件運行時會生成以下文件用於持久化狀態:

  • output/dsh_router_fingerprints.json
  • output/dsh_router_stats.json
  • dsh_router_decision_log.jsonl

這些文件格式與 Python 項目的 dao/model_router.py v2 兼容,可直接加載指紋數據。

適用場景與注意

  • 適用場景:適合需要在 DSH 中平衡推理成本與模型質量的開發者。特別是在需要處理大量請求,且部分請求對質量要求極高時,通過逃逸學習閉環可以逐步減少 Pro 模型的調用次數。
  • 依賴與權限:插件依賴 @deepseek-ai/cordis (^4.0.1)。由於插件以當前 dsh 進程權限運行,安裝前請檢查源碼與許可證。

總結

該插件通過自動化的路由決策和逃逸學習機制,解決了 DSH 開發中成本與質量的矛盾。開發者可以專注於業務邏輯,將模型切換與質量校驗交由插件處理。更多細節可參考社區目錄或源碼倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜