dsh-model-deploy

`dsh-model-deploy` 是 DeepSeek Harness (DSH) 的一個插件,旨在通過基準測試解決模型在目標硬件上的性能達標問題。該插件提供從模型靜態檢查、環境探測到本地及 SSH 遠程基準測試的完整鏈路,支持設置門控閾值驗證結果。 用戶需安裝 Python 依賴及 ONNX Runtime(含 GPU 支持)並配置 SSH。它通過 CLI 和 DSH 工具集提供模型檢查、環境探測和性能測試功能,支持動態輸入模型,並能檢測執行提供者回退情況。當前版本(V0.1)暫不支持 TensorRT 等後端。

閱讀全文