前言¶
在 DSH 插件开发中，工具或插件更新后常需要回答：同样的输入是否仍然得到同样的行为，耗时和输出稳定性是否可比较。仅看一次运行结果不够，通常需要固定用例、固定测量口径，以及能反复比较的报告。dsh-benchmark 就是围绕这类需求做确定性基准证据的 DSH 插件。
这是什么¶
dsh-benchmark 是面向 DeepSeek Harness（DSH）工具与插件的基准插件，定位为“可复现、确定性的基准证据”。仓库路径和安装命令中出现的账号为 dongsheng123132。它围绕固定用例提供检查、运行和比较能力，并生成内容寻址报告，用于基线回归比较。
核心功能¶
下面列出已提供的主要能力：
dsh_benchmark_inspect：检查协议元数据和指纹，不执行目标。dsh_benchmark_run：运行固定用例，并写入内容寻址报告。dsh_benchmark_compare：比较当前报告与基线报告，并结合 manifest 阈值作出判断。- CLI：提供
inspect、run、compare三类命令。 - MCP：以独立 stdio MCP server 形式提供
benchmark_manifest_lint和benchmark_report_address两个接口。 - 报告与评分：使用版本化确定性评分、内容寻址报告和基线回归比较。
安装与启用¶
先在 DSH 中安装该插件：
dsh plugin --profile benchmark add github:dongsheng123132/dsh-benchmark
安装后，它会在 DSH 中注册 dsh_benchmark_inspect、dsh_benchmark_run 和 dsh_benchmark_compare 工具。运行环境要求 Node.js 22+。除可选的 DSH tools SDK peer 外，它不使用额外的运行时依赖或安装生命周期脚本。
典型用法¶
先检查 manifest 和目标指纹，这一步不执行目标：
dsh-benchmark inspect --root /workspace --manifest benchmark.json
再运行固定用例，并把产物写入指定 artifact 目录：
dsh-benchmark run --root /workspace --manifest benchmark.json --artifact-dir benchmark-artifacts
当已经有基线和当前报告时，可以用下面命令做比较：
dsh-benchmark compare --root /workspace --manifest benchmark.json --baseline benchmark-artifacts/baseline.json --current benchmark-artifacts/current.json --artifact-dir benchmark-comparisons
仓库中也提供了示例 manifest，从仓库目录运行示例可用：
node bin/dsh-benchmark.mjs run --root . --manifest examples/benchmark.example.json --artifact-dir artifacts
退出码含义固定：0 表示通过；2 表示报告或比较结果已写出，但评分器判定失败；1 表示 manifest 或操作错误。
适用场景与注意¶
适合用于 DSH 工具或插件的固定基准验证：用同一份 manifest 固定用例输入，运行后得到可复查的报告，并在后续版本中比较基线。
使用前需要注意：
- 只运行可信的 benchmark 可执行文件。它的安全隔离不是恶意代码的 OS 沙箱。
- 使用
shell: false，不使用命令字符串或 shell 插值。 - workspace 路径不能通过路径穿越或符号链接逃出
workspaceRoot。 - 子进程收到的是最小确定性环境，而不是继承的环境秘密。
- 带秘密的 manifest 字段会被拒绝，包括 tokens、cookies、authorization、credentials 和自定义环境秘密。
- 报告包含哈希和测量值，不包含命令输入或输出正文。
- MCP 接口接受有界 inline JSON，不执行命令，也不读写文件系统。
- 插件以当前 DSH 进程可用权限运行。安装前应检查源码与许可证。许可证为 MIT。
结尾¶
dsh-benchmark 的价值在于把基准结果从单次运行变成可复查、可比较的证据：先 inspect，再 run，最后 compare。GitHub 仓库见：https://github.com/dongsheng123132/dsh-benchmark。社区目录页未在本次已核实资料中给出，因此此处仅列出可核实的 GitHub 仓库链接。
