前言¶

DSH 强调「一切皆插件」。在智能体开发里，候选输出是否满足期望片段，常常需要在 CI 中得到可重复判断。aryswisnu/dsh-eval-regression 提供一个确定性、CI-safe 的 golden-output 评估工具，用于比较候选输出中的 required fragments 与 forbidden fragments。

它不是模型质量评审，也不判断语义正确性。它的目标更窄：给出可重复的 pass/fail 证据。

这是什么¶

aryswisnu/dsh-eval-regression 是一个 DeepSeek Harness（DSH）插件，定位为 deterministic, CI-safe golden-output evaluation。仓库 owner 是 aryswisnu，许可证为 MIT。

它注册一个模型可调用的工具：

evaluate_golden_output

该工具用于比较候选输出与 required fragments、forbidden fragments。插件不调用模型、不持久化数据，也不声称语义正确。

它作为 DSH bundle 发布。package.json 中的 dsh.bundle.patch 指向 ./cordis.patch.yml，cordis.patch.yml 会在 profile 的基础工具运行时后自动注册工具。

核心功能¶

片段级检查¶

插件支持两类检查：

• required fragments：候选输出中必须出现的片段
• forbidden fragments：候选输出中不应出现的片段

这使失败可以落到具体片段，而不是只给一个不可复核的整体判断。

确定性报告¶

评估结果包含：

• total passed 和 failed cases
• 0..1 score
• 逐用例 missing 或 forbidden fragments

这类输出适合放入 CI 日志，也适合作为阈值判断的证据。

CLI¶

插件附带 CLI：

• 读取 JSON suite
• 向 stdout 打印报告
• 全部通过时退出 0
• 任一失败时退出 1
• 输入或用法错误时退出 2

退出码使 CI 能直接根据结果成功或失败。

安装与启用¶

将插件加入指定 profile：

dsh plugin --profile <profile> add github:aryswisnu/dsh-eval-regression

插件作为 DSH bundle 发布，注册动作发生在 profile 的基础工具运行时之后。

如果要在本地开发或从源码启用，按下面的步骤做：

1、克隆仓库。

git clone https://github.com/aryswisnu/dsh-eval-regression.git

2、进入目录并安装依赖。

cd dsh-eval-regression
npm install

3、构建产物。

npm run build

4、从当前目录添加到 DSH profile。

dsh plugin --profile <profile> add .

典型用法¶

准备 JSON suite¶

CLI 读取 JSON suite。下面是一个示例，includes 对应 required fragments，excludes 对应 forbidden fragments：

{
  "suite": "release-smoke",
  "cases": [
    {
      "id": "grounded-answer",
      "actual": "The result is 42. Source: benchmark.csv",
      "includes": ["42", "Source:"],
      "excludes": ["I cannot verify"]
    }
  ]
}

运行评估¶

在可执行该 CLI 的环境中运行：

npx dsh-eval-regression suites/release-smoke.json

如果已经在插件仓库中，也可以使用：

npm run evaluate -- suites/release-smoke.json

运行后，CLI 会向 stdout 打印报告。报告包含 total passed 和 failed cases、0..1 score，以及逐用例 missing 或 forbidden fragments。

本地开发检查¶

仓库提供以下常用命令：

npm test
npm run typecheck

这些命令用于本地验证插件代码。

适用场景与注意¶

这个插件适合以下场景：

• 需要检查 DSH 候选输出是否包含 required fragments
• 需要检查候选输出是否出现 forbidden fragments
• 需要在 CI 中保留可重复的 pass/fail 证据
• 需要把 JSON suite 作为可维护的文件管理

使用它时，要注意边界。它有意保持为狭窄的确定性评估器，不替代模型质量评审、事实依据、工具执行检查或快照重放。

插件以当前 dsh 进程权限运行，安装前应检查源码与许可证。当前已核实许可证为 MIT。

依赖与集成信息如下：

{
  "peerDependencies": {
    "@deepseek-ai/cordis": "^4.0.1",
    "@deepseek-ai/dsh-tools": "^0.1.0-rc.6"
  }
}

package.json 中的 dsh.bundle.patch 指向 ./cordis.patch.yml。

链接¶

目录页：

https://www.skillhub.cn/plugins/aryswisnu/dsh-eval-regression

GitHub：

https://github.com/aryswisnu/dsh-eval-regression