dsh-plugin-compare:DeepSeek Harness 插件与预设的受控 A/B 对比工具

前言

在 DeepSeek Harness(DSH)的工作流中,验证插件变更或预设差异是常见需求。dsh-plugin-compare 提供了这种能力。它将执行证据转化为对比时间轴和报告。

插件定位

  • 名称:dsh-plugin-compare
  • 作者:yminghua
  • 定位:控制 A/B 对比及基于证据的报告,用于 DSH 插件和预设。

核心能力

  1. 对比插件与预设:支持基于现有会话进行对比,或运行受控的 A/B 实验组。
  2. 证据报告:生成并排时间轴、可测量的增量(Delta)、显式的成功检查结果。
  3. 受控运行:自动复制工作区、提交相同提示词、捕获 Git 证据。
  4. 导出格式:支持 HTML、JSON、SVG、PNG 等多种格式。
  5. 统计指标:显示时间与 Token 的均值、中位数增量,以及 Student-t 95% 区间。

安装与启用

该插件需要 Node.js 22.19+ 和一个 DSH Web profile。

安装稳定版:

dsh plugin --profile web add dsh-plugin-compare

安装预发布版(需明确宣布):

dsh plugin --profile web add dsh-plugin-compare@next

安装或更新后,需停止当前运行的 Web Host 并重启:

# 停止运行
Ctrl+C
# 启动
dsh web

重启后,DSH Web 界面中会出现 Compare 面板。

典型用法

准备测试环境:

node example/prepare.mjs

随后可以参考仓库中的中文分步指南,对比 Standard 与 dsh-expert-mode 等预设,检查结果并导出报告。

注意事项

  1. 数据隐私:导出的 HTML、JSON、SVG、PNG、截图可能包含提示词、源路径、代码差异、命令输出、提供商/模型名称、Session ID。自动脱敏是尽力而为的,不是隐私审批。分享前必须手动审查并移除敏感信息。
  2. 统计含义:区间描述的是小样本下的观察变异,不自动确立优胜者或因果结论。
  3. 文件处理:依赖目录被排除在副本之外,外部符号链接被拒绝,Git worktree 指针文件不会被复制回实验环境。
  4. 失败处理:如果 Agent 在完成任务前失败,结构化失败信息会被显示和导出,成功检查命令会被标记为未运行,且对比会被标记为无效。

参考资料

  • GitHub 仓库:https://github.com/yminghua/dsh-plugin-compare
  • 技能中心目录:https://www.skillhub.cn/plugins/yminghua/dsh-plugin-compare
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜