dsh-model-router:DeepSeek Harness 任務感知型模型路由

前言

DeepSeek Harness (DSH) 的理念是「一切皆插件」。在構建智能體時,手動爲每個任務指定模型既繁瑣又難以維護。dsh-model-router 插件解決了這個問題,它根據任務類型分類請求,並將其重新調度到最合適的模型,優先保證研究任務的正確性,或優先使用免費模型處理閒聊。

插件介紹

這是 chillBnetley 維護的一個插件,屬於「模型推理」類別。它通過鉤子接管 DSH 的 llm/stream 水流,在請求進入模型之前,基於任務類型、模型能力評分、價格和當前狀態(如速率限制)決定路由目標。核心功能包括任務感知路由、輔助調用過濾、速率限制冷卻機制以及對子代理和代理團隊的支持。

核心功能

  1. 任務感知路由:根據任務類型(如 coding、math_reasoning、daily_chat)選擇策略。研究類任務優先考慮質量評分;閒聊類任務優先考慮免費模型。
  2. Grok 限制:Grok 被禁止在執行任務的回合中接收工具 schema,僅允許用於閒聊。
  3. 輔助調用過濾:會話標題和壓縮請求等輔助調用不會被路由,保持原有模型不變。
  4. 速率限制處理:速率受限的路徑會進入冷卻狀態,而不是每次請求都重試。
  5. 閒聊語調:提供專用的系統提示片段,僅在閒聊回合渲染,不影響其他任務。
  6. 子代理支持:支持子代理和代理團隊,路由會替換流式響應的模型,不影響其他交互邏輯。

安裝與啓用

插件以純文本文件形式分發。安裝步驟如下:

git clone https://github.com/chillBnetley/dsh-model-router.git
cp -r dsh-model-router ~/.dsh/plugins/

安裝完成後,在 DSH 的配置文件 dsh.profile.bundles 中列出該插件。插件會在 cordis.patch.yml 中貢獻自己的 config: 配置塊。

使用方法

  1. 觀察路由決策:首次使用時,建議在配置中啓用 dryRun: true。此時路由器僅記錄決策日誌而不改變實際請求,方便你驗證策略是否符合預期。
  2. 查看決策詳情:使用 /route 命令查看最後一次路由決策的詳細信息,包括任務類型、置信度、工具需求、當前模式以及選中的模型。
  3. 切換會話模式:使用 /mode work(默認,按質量優先)或 /mode chat(閒聊模式,優先使用免費模型如 Space Bunny Free)切換會話模式。

配置說明

所有配置位於 cordis.patch.yml 的插件 config: 塊下。關鍵配置項包括:

  • dryRun: true:僅日誌記錄,不實際改變請求。
  • respectModels: ["provider/model"]:允許將指定的固定模型豁免,不參與路由選擇。
  • chitchatMaxTokens:限制閒聊模式輸出長度的上限。

工作機制

路由器不會修改原始請求。它會創建一個全新的請求信封並返回。請求的內容是會話日誌的純函數,確保了狀態的可預測性。

注意事項

  • Unknown 不做猜測:如果模型沒有能力記錄,或在工具執行回合中工具支持未知,該請求會被排除。如果沒有配置 fallback,請求將保持原樣(不被路由)。
  • 輔助調用始終直通:無論配置如何,輔助調用請求(帶有 purpose 的請求)都不會被路由。
  • 緩存與語調:由於系統提示前綴的切換,chitchatStyle.enabled 設爲 false 可以在語調優先級較低時提高緩存命中率。

總結

dsh-model-router 提供了一套從靜態配置到動態路由的完整方案,幫助開發者根據任務類型自動優化模型選擇。更多細節可查看插件目錄或源碼倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜