dsh-plugin-reasoning-effort-sync:自動同步模型推理級別

DeepSeek Harness(DSH)的推理努力選擇器由每模型的推理元數據驅動。對於官方 dsh-llm-pi-ai,該元數據是免費的。對於自託管或中繼網關,該路由名稱在目錄中未知,models 替代目錄而不是擴展它,且缺少 reasoningEfforts 的條目被報告爲非推理模型。該插件從網關的 GET {baseURL}/models 讀取這些級別並寫入配置文件。

核心功能

該插件通過以下方式解決上述問題:

  1. 同步級別:將 DeepSeek Harness 模型路由的推理努力級別與網關元數據同步,無需爲每個模型手動編寫 reasoningEfforts 塊。
  2. 回退機制:對於網關未描述的模型,回退使用 models.dev 數據集。
  3. 配置支持:支持配置 routes 和 modelsDev 選項,允許白名單控制或自定義回退行爲。
  4. 寫入驗證:將驗證後的 reasoningEfforts 寫入配置文件。

安裝與啓用

安裝前請確保已安裝 DeepSeek Harness 0.2.0-rc.2。

  1. 進入 DeepSeek Harness 的 Plugins 頁面。
  2. 通過註冊表名稱、絕對路徑、Git 地址或 tarball 安裝插件。
  3. 安裝後啓用該插件包。

配置與使用

插件會在配置文件中註冊一行,默認配置如下:

- id: reasoning-effort-sync
  name: dsh-plugin-reasoning-effort-sync
  config:
    enabled: true
    syncOnLoad: true
    intervalMinutes: 0        # 0 禁用定期同步
    requestTimeoutMs: 10000
    dryRun: false
    routes: {}                # 空表示處理 pi-ai 行聲明的所有路由
    modelsDev:                # 回退數據源,僅用於網關未描述的模型
      enabled: true
      url: https://models.dev/api.json
      ttlHours: 12
      timeoutMs: 30000
      minShare: 0.5           # 主導聲明所需的同意比例

路由配置 (routes)

  • 空字典 {}:處理 llm-pi-ai 行中聲明的所有路由。
  • 非空字典:作爲白名單,僅處理列表中命名的路由。若在列表中設置 enabled: false,則排除該路由。

模型回退配置 (modelsDev)

當網關的 /models 端點未提供推理努力級別時,插件會查詢 models.dev。

  • url:數據集地址(默認爲 models.dev 的完整數據集)。
  • ttlHours:內存中緩存數據集的時長。
  • timeoutMs:獲取數據集的超時時間。
  • minShare:決定是否接受該模型的聲明。值爲 1 表示需要一致同意,0.5 表示接受多數同意。

測試配置

使用 dryRun: true 可以在不寫入實際配置的情況下計算並記錄結果,用於驗證網關返回的級別是否正確。

注意事項

  • 版本要求:需要 DeepSeek Harness 0.2.0-rc.2。
  • 作用範圍:僅處理配置文件中聲明的路由。
  • 模型管理:不添加或移除模型,僅對現有的模型條目進行標註。
  • 默認值:不寫入默認努力值。
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜