前言¶
DeepSeek Harness（DSH）採用“一切皆插件”的生態理念。在進行 LLM 模型選型與部署時，顯存容量、精度配置、互聯帶寬、首字時延（TTFT）、吞吐量以及功耗都是需要重點考慮的指標。dsh-model-deploy 插件旨在解決部署前的分析問題，通過給定的模型、硬件和參數，給出可審計的估算報告。
插件介紹¶
dsh-model-deploy 是一個 LLM 模型選擇與部署分析工具，由 lhwwxy 維護，採用 MIT 開源協議。它覆蓋了 38 個模型與 20 款 GPU/NPU 的組合分析，能夠輸出部署可行性、資源拆解、性能指標及功耗估算。
安裝與啓用¶
安裝該插件需要指定 --profile 參數。
dsh plugin --profile web add github:lhwwxy/dsh-model-deploy
安裝完成後，工具 schema 不會立即生效，需要重啓會話或配置文件。
核心功能¶
該插件提供以下分析能力：
- 部署檢查與修復：檢查顯存、精度、互聯是否滿足要求，並提供修復建議。
- 資源拆解：輸出單卡與集羣的顯存拆解（權重、KV 緩存、激活、運行時）。
- 時延分析：分析首 token 時延（TTFT）以及空閒/滿載時的整體時延。
- 吞吐量分析：計算單請求與系統的 tok/s、req/s 以及預填充（prefill）吞吐。
- 功耗估算：估算空閒、典型、峯值功耗，包含 PUE 和每 token 能耗。
- 並行策略選擇：自動計算並給出 TP×PP×DP 並行策略的選擇理由。
- 覆蓋範圍：支持 38 個模型（如 Qwen3、Llama、DeepSeek-V3、GLM 等）與 20 款硬件（NVIDIA H100/H200、華爲昇騰 910B/910C/950PR 等）的分析。
典型用法¶
工具分爲 model_deploy_catalog 和 model_deploy_analyze 兩個部分。
- 查詢資源：使用
model_deploy_catalog查詢支持的模型 ID 和 GPU/NPU ID。 - 執行分析：調用
model_deploy_analyze工具，傳入參數進行分析。
示例調用如下：
{
"model": "deepseek-v3",
"gpu": "ascend910b",
"gpusPerNode": 8,
"nodes": 1,
"precision": "int4",
"ctx": 131072,
"batch": 4
}
參數說明：
* model：目錄 id 或自定義模型 JSON 字符串。
* gpu：目錄 id。
* gpusPerNode：單節點 GPU 數（1–8）。
* nodes：節點數（1–64）。
* precision：精度，支持 fp32|bf16|fp16|fp8|int8|int4|fp4。
* ctx/batch/prompt/output：對應的 token 數。
* intraMode/intraGBs：節點內互聯模式與帶寬。
* interMode/interGBs：節點間互聯模式與帶寬。
注意事項¶
- 安裝要求：安裝時必須填寫
--profile參數，且安裝後必須重啓會話或配置文件才能生效。 - 估算模型：工具提供的公式與係數是公開的，結論可複覈。它使用真實部署錨點（如 70B BF16 在 8xH100 ≈ 150 tok/s）進行了校驗。
- NPU 實際差異：國產 NPU 軟件棧的實際利用率與理想估算有差異，工具會提示這一點。正式採購前建議使用目標框架進行實測。
- 生態背景：DSH 理念是“一切皆插件”，本插件與 DeepSeek 或幻方無官方從屬關係。
總結¶
dsh-model-deploy 提供了從顯存到功耗的全鏈路部署分析能力，適合在模型落地前進行快速驗證與容量規劃。完整的模型列表與硬件規格可參考 GitHub 倉庫。
