前言¶
在 DeepSeek Harness(DSH)的工作流中,验证插件变更或预设差异是常见需求。dsh-plugin-compare 提供了这种能力。它将执行证据转化为对比时间轴和报告。
插件定位¶
- 名称:
dsh-plugin-compare - 作者:yminghua
- 定位:控制 A/B 对比及基于证据的报告,用于 DSH 插件和预设。
核心能力¶
- 对比插件与预设:支持基于现有会话进行对比,或运行受控的 A/B 实验组。
- 证据报告:生成并排时间轴、可测量的增量(Delta)、显式的成功检查结果。
- 受控运行:自动复制工作区、提交相同提示词、捕获 Git 证据。
- 导出格式:支持 HTML、JSON、SVG、PNG 等多种格式。
- 统计指标:显示时间与 Token 的均值、中位数增量,以及 Student-t 95% 区间。
安装与启用¶
该插件需要 Node.js 22.19+ 和一个 DSH Web profile。
安装稳定版:
dsh plugin --profile web add dsh-plugin-compare
安装预发布版(需明确宣布):
dsh plugin --profile web add dsh-plugin-compare@next
安装或更新后,需停止当前运行的 Web Host 并重启:
# 停止运行
Ctrl+C
# 启动
dsh web
重启后,DSH Web 界面中会出现 Compare 面板。
典型用法¶
准备测试环境:
node example/prepare.mjs
随后可以参考仓库中的中文分步指南,对比 Standard 与 dsh-expert-mode 等预设,检查结果并导出报告。
注意事项¶
- 数据隐私:导出的 HTML、JSON、SVG、PNG、截图可能包含提示词、源路径、代码差异、命令输出、提供商/模型名称、Session ID。自动脱敏是尽力而为的,不是隐私审批。分享前必须手动审查并移除敏感信息。
- 统计含义:区间描述的是小样本下的观察变异,不自动确立优胜者或因果结论。
- 文件处理:依赖目录被排除在副本之外,外部符号链接被拒绝,Git worktree 指针文件不会被复制回实验环境。
- 失败处理:如果 Agent 在完成任务前失败,结构化失败信息会被显示和导出,成功检查命令会被标记为未运行,且对比会被标记为无效。
参考资料¶
- GitHub 仓库:https://github.com/yminghua/dsh-plugin-compare
- 技能中心目录:https://www.skillhub.cn/plugins/yminghua/dsh-plugin-compare