前言¶
在 DSH 插件開發中，工具或插件更新後常需要回答：同樣的輸入是否仍然得到同樣的行爲，耗時和輸出穩定性是否可比較。僅看一次運行結果不夠，通常需要固定用例、固定測量口徑，以及能反覆比較的報告。dsh-benchmark 就是圍繞這類需求做確定性基準證據的 DSH 插件。
這是什麼¶
dsh-benchmark 是面向 DeepSeek Harness（DSH）工具與插件的基準插件，定位爲“可復現、確定性的基準證據”。倉庫路徑和安裝命令中出現的賬號爲 dongsheng123132。它圍繞固定用例提供檢查、運行和比較能力，並生成內容尋址報告，用於基線迴歸比較。
核心功能¶
下面列出已提供的主要能力：
dsh_benchmark_inspect：檢查協議元數據和指紋，不執行目標。dsh_benchmark_run：運行固定用例，並寫入內容尋址報告。dsh_benchmark_compare：比較當前報告與基線報告，並結合 manifest 閾值作出判斷。- CLI：提供
inspect、run、compare三類命令。 - MCP：以獨立 stdio MCP server 形式提供
benchmark_manifest_lint和benchmark_report_address兩個接口。 - 報告與評分：使用版本化確定性評分、內容尋址報告和基線迴歸比較。
安裝與啓用¶
先在 DSH 中安裝該插件：
dsh plugin --profile benchmark add github:dongsheng123132/dsh-benchmark
安裝後，它會在 DSH 中註冊 dsh_benchmark_inspect、dsh_benchmark_run 和 dsh_benchmark_compare 工具。運行環境要求 Node.js 22+。除可選的 DSH tools SDK peer 外，它不使用額外的運行時依賴或安裝生命週期腳本。
典型用法¶
先檢查 manifest 和目標指紋，這一步不執行目標：
dsh-benchmark inspect --root /workspace --manifest benchmark.json
再運行固定用例，並把產物寫入指定 artifact 目錄：
dsh-benchmark run --root /workspace --manifest benchmark.json --artifact-dir benchmark-artifacts
當已經有基線和當前報告時，可以用下面命令做比較：
dsh-benchmark compare --root /workspace --manifest benchmark.json --baseline benchmark-artifacts/baseline.json --current benchmark-artifacts/current.json --artifact-dir benchmark-comparisons
倉庫中也提供了示例 manifest，從倉庫目錄運行示例可用：
node bin/dsh-benchmark.mjs run --root . --manifest examples/benchmark.example.json --artifact-dir artifacts
退出碼含義固定：0 表示通過；2 表示報告或比較結果已寫出，但評分器判定失敗；1 表示 manifest 或操作錯誤。
適用場景與注意¶
適合用於 DSH 工具或插件的固定基準驗證：用同一份 manifest 固定用例輸入，運行後得到可複查的報告，並在後續版本中比較基線。
使用前需要注意：
- 只運行可信的 benchmark 可執行文件。它的安全隔離不是惡意代碼的 OS 沙箱。
- 使用
shell: false，不使用命令字符串或 shell 插值。 - workspace 路徑不能通過路徑穿越或符號鏈接逃出
workspaceRoot。 - 子進程收到的是最小確定性環境，而不是繼承的環境祕密。
- 帶祕密的 manifest 字段會被拒絕，包括 tokens、cookies、authorization、credentials 和自定義環境祕密。
- 報告包含哈希和測量值，不包含命令輸入或輸出正文。
- MCP 接口接受有界 inline JSON，不執行命令，也不讀寫文件系統。
- 插件以當前 DSH 進程可用權限運行。安裝前應檢查源碼與許可證。許可證爲 MIT。
結尾¶
dsh-benchmark 的價值在於把基準結果從單次運行變成可複查、可比較的證據：先 inspect，再 run，最後 compare。GitHub 倉庫見：https://github.com/dongsheng123132/dsh-benchmark。社區目錄頁未在本次已覈實資料中給出，因此此處僅列出可覈實的 GitHub 倉庫鏈接。
