前言¶
DeepSeek Harness（DSH）采用“一切皆插件”的生态理念。在进行 LLM 模型选型与部署时，显存容量、精度配置、互联带宽、首字时延（TTFT）、吞吐量以及功耗都是需要重点考虑的指标。dsh-model-deploy 插件旨在解决部署前的分析问题，通过给定的模型、硬件和参数，给出可审计的估算报告。
插件介绍¶
dsh-model-deploy 是一个 LLM 模型选择与部署分析工具，由 lhwwxy 维护，采用 MIT 开源协议。它覆盖了 38 个模型与 20 款 GPU/NPU 的组合分析，能够输出部署可行性、资源拆解、性能指标及功耗估算。
安装与启用¶
安装该插件需要指定 --profile 参数。
dsh plugin --profile web add github:lhwwxy/dsh-model-deploy
安装完成后，工具 schema 不会立即生效，需要重启会话或配置文件。
核心功能¶
该插件提供以下分析能力：
- 部署检查与修复：检查显存、精度、互联是否满足要求，并提供修复建议。
- 资源拆解：输出单卡与集群的显存拆解（权重、KV 缓存、激活、运行时）。
- 时延分析：分析首 token 时延（TTFT）以及空闲/满载时的整体时延。
- 吞吐量分析：计算单请求与系统的 tok/s、req/s 以及预填充（prefill）吞吐。
- 功耗估算：估算空闲、典型、峰值功耗，包含 PUE 和每 token 能耗。
- 并行策略选择：自动计算并给出 TP×PP×DP 并行策略的选择理由。
- 覆盖范围：支持 38 个模型（如 Qwen3、Llama、DeepSeek-V3、GLM 等）与 20 款硬件（NVIDIA H100/H200、华为昇腾 910B/910C/950PR 等）的分析。
典型用法¶
工具分为 model_deploy_catalog 和 model_deploy_analyze 两个部分。
- 查询资源：使用
model_deploy_catalog查询支持的模型 ID 和 GPU/NPU ID。 - 执行分析：调用
model_deploy_analyze工具，传入参数进行分析。
示例调用如下：
{
"model": "deepseek-v3",
"gpu": "ascend910b",
"gpusPerNode": 8,
"nodes": 1,
"precision": "int4",
"ctx": 131072,
"batch": 4
}
参数说明：
* model：目录 id 或自定义模型 JSON 字符串。
* gpu：目录 id。
* gpusPerNode：单节点 GPU 数（1–8）。
* nodes：节点数（1–64）。
* precision：精度，支持 fp32|bf16|fp16|fp8|int8|int4|fp4。
* ctx/batch/prompt/output：对应的 token 数。
* intraMode/intraGBs：节点内互联模式与带宽。
* interMode/interGBs：节点间互联模式与带宽。
注意事项¶
- 安装要求：安装时必须填写
--profile参数，且安装后必须重启会话或配置文件才能生效。 - 估算模型：工具提供的公式与系数是公开的，结论可复核。它使用真实部署锚点（如 70B BF16 在 8xH100 ≈ 150 tok/s）进行了校验。
- NPU 实际差异：国产 NPU 软件栈的实际利用率与理想估算有差异，工具会提示这一点。正式采购前建议使用目标框架进行实测。
- 生态背景：DSH 理念是“一切皆插件”，本插件与 DeepSeek 或幻方无官方从属关系。
总结¶
dsh-model-deploy 提供了从显存到功耗的全链路部署分析能力，适合在模型落地前进行快速验证与容量规划。完整的模型列表与硬件规格可参考 GitHub 仓库。
