DeepSeek Harness 插件:dsh-model-tester(模型可用性一鍵測試)

DeepSeek Harness(DSH)的核心設計理念是「一切皆插件」。在模型推理開發或運維中,快速驗證模型可用性、吞吐(TPS)與首 Token 延遲是高頻需求。masknull/dsh-model-tester 作爲一個 DSH 插件,直接在「設置 → 模型」頁底部增加了一個測試面板,通過真實流式調用完成批量檢測。

插件定位

這是一個由 masknull 維護的模型推理類插件,旨在解決模型配置後無法快速驗證連通性與性能的問題。它通過一鍵測試,提供可用性、TPS、首 Token 延遲與總耗時的四維指標。

核心能力

  1. 併發流式測試:對每個模型發起真實的流式調用(llm.stream),支持 3 路併發,單模型超時 30 秒。
  2. 按渠道隔離測試:支持「測試本渠道」按鈕,僅針對特定提供方的模型發起請求。
  3. 單行多維指標:測試結果以單行形式展示:可用性 / TPS (tok/s) / 首 token (s) / 耗時 (s)。
  4. 失敗診斷:失敗行會明確顯示錯誤原因、錯誤碼與 HTTP 狀態。
  5. 單模型重測:每行獨立攜帶「測試/重測」按鈕。
  6. 智能過濾:自動隱藏未激活或未配置的提供方;若模型 ID 或名稱包含 vision(如 modlens vision),自動註冊條目也會被隱藏。
  7. 模型清單來源:優先讀取設置中顯式配置的模型,否則回退到適配器目錄(llm.listModels)。

安裝與啓用

使用官方命令安裝插件:

dsh plugin --profile web add github:masknull/dsh-model-tester

安裝完成後,重啓 dsh web 進程,隨後打開 設置 → 模型,頁面底部會出現測試面板。

使用說明

進入模型設置頁底部,點擊「測試」按鈕即可批量執行。

關於 TPS:該指標依賴上游提供方返回的 usage 信息。如果響應一次性到達導致 decode 窗口小於 50 毫秒,將無法測得有效速率,此時顯示 —。

關於參數:測試請求刻意不傳 maxTokens,由上游提供方使用自身默認輸出額度,避免因人爲設置的小額度導致推理模型提前截斷(response incomplete: max_output_tokens)。

總結

該插件通過宿主半與瀏覽器半的協作,將原本需要手動編寫腳本或調用 API 的測試流程標準化、可視化,適合需要頻繁校驗模型性能與連通性的場景。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜