前言¶

做 DSH profile 或 patch 调整时，常见的问题不是“能不能跑一次”，而是能不能重复比较多个组合，并把质量、Token、费用、时延和稳定性放进同一份可审计结果里。young-tim/dsh-profile-lab 是 DeepSeek Harness 的本地实验与发布门禁工具，许可证为 MIT。下面介绍它的核心能力、安装命令、典型用法和需要注意的边界。

这是什么¶

DSH Profile Lab 是 young-tim 维护的 DSH 插件。它在隔离 workspace 中重复运行多个 DSH profile/patch 组合，基于官方持久化 session 事件计算质量、Token、费用、时延和稳定性，并输出可审计报告。

核心功能¶

它的能力包括：

• 在隔离 workspace 中重复运行多个 DSH profile/patch 组合。
• 基于官方持久化 session 事件计算质量、Token、费用、时延和稳定性。
• 输出 report.json、report.md、report.html 可审计报告。
• 提供 profile_lab_run、profile_lab_compare、profile_lab_gate 三个 DSH 工具。
• 在 Web profile 会话中提供“Profile 组合对比”页签。
• 提供 profile-lab-author-cases Skill，协助规划评测用例。
• 支持 schema --check、run、compare、gate CLI 命令。
• 支持发布门禁策略 min_candidate_pass_rate、max_pass_rate_drop_pp、max_median_token_increase_pct、max_error_rate。
• 结果目录包含 manifest.json、journal.json、run-state.json，并支持可恢复执行。

运行环境¶

已核实资料给出的依赖要求如下：

• Node.js：^22.19.0 || >=24.0.0
• pnpm：11
• @deepseek-ai/dsh：0.1.0-rc.7

安装与启用¶

已核实资料给出的安装命令如下：

dsh plugin --profile headless add github:young-tim/dsh-profile-lab

安装后，DSH 中可使用 profile_lab_run、profile_lab_compare、profile_lab_gate 三个 DSH 工具。Web profile 会话中还会提供“Profile 组合对比”页签。

典型用法¶

先校验，再运行，再对比和门禁¶

真实运行可能调用模型并产生费用。建议先做 schema --check 校验配置，再做 run 生成结果，然后用 compare 查看差异，最后用 gate 判断是否满足发布门禁。

node dist/cli.js schema --check examples/experiment.yml
node dist/cli.js run examples/experiment.yml --output .profile-lab/real-run
node dist/cli.js compare .profile-lab/real-run
node dist/cli.js gate .profile-lab/real-run --policy examples/policy-pass.yml

经过上面的步骤，会得到对比结果，并基于策略文件执行发布门禁判断。

让 AI 协助设计用例¶

已核实资料中的示例指令如下：

帮我为支付重试功能设计一套 Profile Lab 用例。先检查现有 experiment 和 cases，和我确认测试范围、关键风险、断言和预算，然后给出用例矩阵建议；暂时不要创建或运行。

这个示例的重点是先确认范围、断言和预算，不立即创建或运行文件。

运行全部用例或 smoke 用例¶

运行完整实验的示例如下：

运行 experiments/payment/experiment.yml 中的全部用例，结果保存到新的 .profile-lab/payment-2026-08-20。运行前先告诉我方案数、用例数、重复次数和预计模型调用总数，得到我确认后再开始。

只运行 smoke 标签用例的示例如下：

使用 experiments/payment/experiment.yml 只运行带 smoke 标签的用例，输出到新的 .profile-lab/payment-smoke-001。不要复用旧结果目录。

执行发布门禁¶

已核实资料中的门禁示例如下：

对 .profile-lab/payment-2026-08-20 执行发布门禁：候选通过率至少 95%，相对基线下降不超过 2 个百分点，错误率不超过 1%，中位 Token 增长不超过 15%。解释每个未通过原因。

这个示例覆盖的门禁策略项包括候选通过率、相对基线的通过率下降、错误率和中位 Token 增长。

结果与安全边界¶

结果目录会包含以下文件：

• manifest.json
• journal.json
• run-state.json
• report.json
• report.md
• report.html

资料说明，默认会临时复用当前 DSH 登录凭证，子进程结束后立即清理；凭证不会进入 manifest.json、journal.json 或报告。

环境变量默认不继承，仅保留 PATH、HOME、隔离 DSH_HOME 和显式 allowlist 名称。运行环境会拒绝 workspace 中的 symlink、socket、device、FIFO 等特殊文件。

适用场景与注意¶

DSH Profile Lab 适合需要比较 DSH profile/patch 组合、需要审计 Token、费用、时延和稳定性，以及需要基于策略判断发布门禁的 DSH 开发者。

需要注意：

1. 真实运行可能调用模型并产生费用。
2. 第三方 DSH 插件以当前用户权限运行；安装前应检查源码。
3. 许可证为 MIT。
4. 云托管、账号系统和自动安装插件不属于本产品边界。

链接¶

• GitHub：https://github.com/young-tim/dsh-profile-lab
• 目录页：当前已核实资料未给出目录页 URL。