DeepSeek Harness(DSH)的核心設計理念是「一切皆插件」。在模型推理開發或運維中,快速驗證模型可用性、吞吐(TPS)與首 Token 延遲是高頻需求。masknull/dsh-model-tester 作爲一個 DSH 插件,直接在「設置 → 模型」頁底部增加了一個測試面板,通過真實流式調用完成批量檢測。
插件定位¶
這是一個由 masknull 維護的模型推理類插件,旨在解決模型配置後無法快速驗證連通性與性能的問題。它通過一鍵測試,提供可用性、TPS、首 Token 延遲與總耗時的四維指標。
核心能力¶
- 併發流式測試:對每個模型發起真實的流式調用(
llm.stream),支持 3 路併發,單模型超時 30 秒。 - 按渠道隔離測試:支持「測試本渠道」按鈕,僅針對特定提供方的模型發起請求。
- 單行多維指標:測試結果以單行形式展示:可用性 /
TPS (tok/s)/首 token (s)/耗時 (s)。 - 失敗診斷:失敗行會明確顯示錯誤原因、錯誤碼與 HTTP 狀態。
- 單模型重測:每行獨立攜帶「測試/重測」按鈕。
- 智能過濾:自動隱藏未激活或未配置的提供方;若模型 ID 或名稱包含
vision(如modlens vision),自動註冊條目也會被隱藏。 - 模型清單來源:優先讀取設置中顯式配置的模型,否則回退到適配器目錄(
llm.listModels)。
安裝與啓用¶
使用官方命令安裝插件:
dsh plugin --profile web add github:masknull/dsh-model-tester
安裝完成後,重啓 dsh web 進程,隨後打開 設置 → 模型,頁面底部會出現測試面板。
使用說明¶
進入模型設置頁底部,點擊「測試」按鈕即可批量執行。
關於 TPS:該指標依賴上游提供方返回的 usage 信息。如果響應一次性到達導致 decode 窗口小於 50 毫秒,將無法測得有效速率,此時顯示 —。
關於參數:測試請求刻意不傳 maxTokens,由上游提供方使用自身默認輸出額度,避免因人爲設置的小額度導致推理模型提前截斷(response incomplete: max_output_tokens)。
總結¶
該插件通過宿主半與瀏覽器半的協作,將原本需要手動編寫腳本或調用 API 的測試流程標準化、可視化,適合需要頻繁校驗模型性能與連通性的場景。