dsh-model-health-probe: DSH 模型健康檢查探針

前言

DeepSeek Harness(DSH)採用插件化架構。當模型配置(如 baseURL 路徑、協議類型)出現錯誤時,系統報錯往往只有簡單的 HTTP 狀態碼,難以定位具體是哪一層配置問題。本插件在 DSH 的會話視圖中新增「模型健康檢查」頁籤,通過手動發送裸 HTTP 測試請求,提供針對特定模型和協議的即時診斷能力。

核心功能

  1. 四行選擇器:在面板內按「供應商(baseURL分組)→ API類型 → 模型 → 路由」逐行點選。每一行的候選由上一行的選擇推導,選項完全由本機 settings.yaml 的 llm-pi-ai.providers 動態生成。
  2. 裸 HTTP 測試:手動發送真實的 HTTP 請求,不經過宿主 ctx.llm.stream,也不套用路由的 compat / headers / retryPolicy,直接測試基礎連通性。
  3. 三協議支持:支持 openai-completions、openai-responses、anthropic-messages 三個協議。不做任何智能修正,配置成什麼樣就發什麼。
  4. 一屏診斷:展示請求耗時、TTFT(首字節時間)、HTTP 狀態、token 用量、響應內容以及三層診斷鏈(API請求 / 模型響應 / 嚴格校驗)。
  5. 錯誤人話化:所有錯誤均翻譯爲中文結論與下一步操作建議,例如 HTTP_404 會提示檢查 baseURL 是否包含 /v1。
  6. 默認模型設置:面板打開時會預選宿主的默認模型。可一鍵將當前選中的路由+模型設爲默認,下次打開自動預選。
  7. 自動重試:提供用戶顯式啓動、成功即停的有限重試會話。支持「嚴格」(內容匹配)和「連通」(僅響應結構)兩種成功判定模式,以及 4 條停止條件。

安裝

本插件以本地 tgz 包形式分發,需使用完整路徑安裝。

# 1) 打包(在插件目錄內)
cd D:\Company\dsh-plugin\dsh-model-health-probe
npm pack

# 2) 安裝進 web profile
dsh plugin --profile web add D:\Company\dsh-plugin\dsh-model-health-probe\dsh-model-health-probe-<版本>.tgz

安裝成功後,需重啓 DSH 宿主進程才能在會話視圖中看到新增的頁籤。後續更新只需刷新頁面即可。

使用說明

目標選擇

  1. 供應商:按歸一化的 baseURL 分組(僅去尾部斜槓,不增刪 /v1)。注意 https://api.example.com 與 https://api.example.com/v1 是兩個不同分組。
  2. API 類型:同一 baseURL 下可能掛載多種協議,按聲明去重列出。
  3. 模型:該分組內模型 ID 的並集。
  4. 路由:僅當所選模型被多條路由聲明時出現(routeKeys.length > 1)。否則該行隱藏,目標自動鎖定。

流式與非流式

  • 開啓流式:可測出 TTFT。openai 系協議會自動帶上 stream_options.include_usage。
  • 關閉流式:一次性等待完整響應體,便於查看完整 JSON 結構。

嚴格校驗

每次測試會產生三層結論:
- API 請求層:檢查域名解析、TCP/TLS、HTTP 狀態。
- 模型響應層:檢查響應體結構、文本提取、流終止標記。
- 嚴格校驗層:檢查模型返回內容是否精確等於默認值 OK。

判定規則:
- 嚴格校驗失敗 → 判定爲 Slow(絕不判 Failed)。
- 超時 / 非 2xx / 流缺終止標記 → Failed。
- 三層全過但耗時超過 slowMs(默認 15000ms)→ Slow。

自動重試

在面板中配置間隔、最大次數、最長時長(均爲分鐘),啓動後可離開,回來看結果。
- 嚴格模式:內容匹配且未超時纔算成功。
- 連通模式:HTTP 2xx 且響應體解析成功就算成功。
- 致命錯誤不短路:401/403/404/400 不會提前結束會話,允許在修復後繼續重試。

注意事項

  1. 非監控工具:這是一個手動探針,不輪詢、不監控、不告警、不落盤、不記錄歷史趨勢。
  2. 單例運行:自動重試會話同一時刻只允許一個,重複啓動會返回 409 RETRY_IN_FLIGHT。
  3. 安全:密鑰零泄漏,記錄、日誌、響應中均不出現密鑰明文。llm-pi-ai 配置全程只讀。
  4. 配置依賴:插件依賴宿主環境的 settings.yaml 和憑據服務(.credentials.yaml)。

生態背景

DSH(DeepSeek Harness)是 DeepSeek 生態下的插件化平臺,核心設計理念是「一切皆插件」。本插件由社區開發者維護,遵循 MIT 許可證。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜