DSH Model Probe:DeepSeek Harness 的模型健康監控插件

前言

DeepSeek Harness (DSH) 採用插件化架構。隨着模型增多,管理各模型的實際可用性(Alive/Dead)變得困難。DSH Model Probe 是一個第三方插件,旨在將模型健康監控集成到 DSH 的 Web UI 中,提供持久化狀態、運行時監控和全局排序。

插件定位

DSH Model Probe 是 DeepSeek Harness Web UI 的持久化模型健康監控插件。
- 維護者:AGSQ11
- 許可證:MIT
- 核心價值:通過運行時探測、自動恢復和歷史記錄,確保 DSH 中模型選擇的準確性。

核心功能

插件在 DSH Web UI 的 Settings → Model Probe 下提供以下能力:

  1. 原生 UI 集成
    在設置中提供儀表盤,展示模型列表及其健康狀態。

  2. 全局健康徽章
    在 DSH 的模型選擇列表中,活模型顯示綠色點,死模型顯示紅色點。未探測的模型無點。

  3. 健康優先排序
    模型列表按以下順序排序:
    - Alive(綠點)
    - Unknown(無點)
    - Dead(紅點)
    每個層級內部按字母順序排序。

  4. 快速過濾
    支持不區分大小寫的前綴搜索。在模型顯示名稱和模型 ID 上均有效。

  5. 持久化與監控
    - 健康狀態在主機端持久化,在瀏覽器和 DSH 重啓後保留。
    - 運行時監控正常的 DSH llm/stream 調用。
    - 歷史記錄限制在最近 500 個結果。

  6. 自動恢復
    死模型每 30 分鐘自動重新探測一次。成功即恢復爲 Alive。

  7. 手動探測
    提供“Probe all”功能,支持配置超時和併發數。

安裝與啓用

克隆或下載倉庫後,將本地插件目錄添加到 DSH 配置文件中:

dsh plugin --profile default add ./dsh-model-probe

添加後重啓 DSH,訪問 Settings → Model Probe 即可使用。

使用說明

  1. 訪問儀表盤
    打開 DSH Web UI,導航至 Settings → Model Probe。

  2. 手動探測
    使用“Probe all”按鈕,並配置探測的超時時間和併發數。

  3. 狀態路徑覆蓋
    若需修改狀態文件存儲位置,可設置環境變量:

DSH_MODEL_PROBE_STATE_FILE=/custom/path/state.json

健康策略與注意事項

插件採用特定的健康判定邏輯:

  • 探測策略:手動探測最多進行 3 次嘗試。若全部失敗,模型標記爲 Dead。
  • 運行時失敗:若正常 DSH 請求因終端錯誤失敗,插件將觸發兩次健康重試。只有兩次重試均失敗且無成功請求恢復時,模型才標記爲 Dead。
  • 最小探測請求:插件不會重放用戶的原始請求,而是發送一個最小化的請求(Reply with exactly OK.,maxTokens=8)以避免重複輸出。
  • 取消處理:顯式的用戶取消或中止操作不被視爲模型死亡。
  • 鍵控邏輯:健康狀態按 Provider + Model 組合鍵控,而非僅按模型名稱。
  • 安全注意:插件不存儲任何提供商憑證,探測請求使用 DSH 已配置的適配器。
  • 目錄侷限性:DSH 提供商目錄僅供參考。插件檢查已發佈模型,無法推斷未被目錄暴露的隱藏模型 ID。

狀態持久化

插件將當前健康狀態和歷史記錄存儲在 state.json 文件中。

默認路徑:
- Windows: %LOCALAPPDATA%\dsh-model-probe\state.json
- macOS: ~/Library/Application Support/dsh-model-probe/state.json
- Linux/Unix: $XDG_STATE_HOME/dsh-model-probe/state.json 或 ~/.local/state/dsh-model-probe/state.json

更新

更新時,替換插件目錄爲新版本源碼,保持 DSH 配置文件中的條目不變,然後重啓 DSH。持久化狀態與插件目錄獨立存儲。

結語

DSH Model Probe 通過將健康監控嵌入 Web UI,解決了模型可用性管理的盲點。它利用 DSH 自身的運行時進行探測,並嚴格遵循健康優先的排序邏輯,適合需要穩定 LLM 通道的開發者使用。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜