前言¶
在模型推理場景下,預估併發請求量(QPS)是評估系統承載能力的關鍵環節。通常需要藉助外部腳本或手工計算公式來完成這一工作。
DeepSeek Harness(DSH)採用“一切皆插件”的理念。針對這一需求,社區提供了一個名爲 dsh-qps-calc 的插件,它允許你在會話中直接進行 QPS 的計算。
插件定位¶
這是一個由 uckkk 維護的 DeepSeek Harness 插件,歸屬於模型推理類別。其核心目的是提供峯值 QPS 的估算功能,幫助開發者快速評估推理服務的併發承載能力。
核心功能¶
- qps_calc:按參數精確計算峯值 QPS,並返回詳細結果。
- 實現方式:純 Node 實現,無網絡依賴。
安裝與依賴¶
執行以下命令安裝插件:
dsh plugin add github:uckkk/dsh-qps-calc
安裝前請確保當前環境滿足以下依賴要求:
@deepseek-ai/cordis(^4.0.1)@deepseek-ai/dsh-tools(>=0.1.0-rc.6)
使用方法¶
安裝完成後,在 DSH 會話中調用該插件註冊的工具即可。
適用場景與注意事項¶
- 適用場景:適合需要在本地快速評估推理服務峯值併發量的開發者。
- 權限說明:該插件以當前 DSH 進程的權限運行。
- 安全建議:安裝前建議查閱源碼與許可證(MIT)。
- 生態說明:該插件屬於社區生態,社區目錄 (skillhub.cn) 與 DeepSeek 或幻方無官方從屬關係。
結語¶
dsh-qps-calc 提供了一個輕量級、無網絡依賴的 QPS 估算方案。更多細節可查閱 GitHub 倉庫 或 社區目錄。