前言¶
DSH 强调「一切皆插件」。在智能体开发里，候选输出是否满足期望片段，常常需要在 CI 中得到可重复判断。aryswisnu/dsh-eval-regression 提供一个确定性、CI-safe 的 golden-output 评估工具，用于比较候选输出中的 required fragments 与 forbidden fragments。
它不是模型质量评审，也不判断语义正确性。它的目标更窄：给出可重复的 pass/fail 证据。
这是什么¶
aryswisnu/dsh-eval-regression 是一个 DeepSeek Harness（DSH）插件，定位为 deterministic, CI-safe golden-output evaluation。仓库 owner 是 aryswisnu，许可证为 MIT。
它注册一个模型可调用的工具：
evaluate_golden_output
该工具用于比较候选输出与 required fragments、forbidden fragments。插件不调用模型、不持久化数据，也不声称语义正确。
它作为 DSH bundle 发布。package.json 中的 dsh.bundle.patch 指向 ./cordis.patch.yml，cordis.patch.yml 会在 profile 的基础工具运行时后自动注册工具。
核心功能¶
片段级检查¶
插件支持两类检查：
- required fragments：候选输出中必须出现的片段
- forbidden fragments：候选输出中不应出现的片段
这使失败可以落到具体片段，而不是只给一个不可复核的整体判断。
确定性报告¶
评估结果包含：
- total passed 和 failed cases
0..1score- 逐用例 missing 或 forbidden fragments
这类输出适合放入 CI 日志，也适合作为阈值判断的证据。
CLI¶
插件附带 CLI：
- 读取 JSON suite
- 向 stdout 打印报告
- 全部通过时退出
0 - 任一失败时退出
1 - 输入或用法错误时退出
2
退出码使 CI 能直接根据结果成功或失败。
安装与启用¶
将插件加入指定 profile：
dsh plugin --profile <profile> add github:aryswisnu/dsh-eval-regression
插件作为 DSH bundle 发布，注册动作发生在 profile 的基础工具运行时之后。
如果要在本地开发或从源码启用，按下面的步骤做：
1、克隆仓库。
git clone https://github.com/aryswisnu/dsh-eval-regression.git
2、进入目录并安装依赖。
cd dsh-eval-regression
npm install
3、构建产物。
npm run build
4、从当前目录添加到 DSH profile。
dsh plugin --profile <profile> add .
典型用法¶
准备 JSON suite¶
CLI 读取 JSON suite。下面是一个示例，includes 对应 required fragments，excludes 对应 forbidden fragments：
{
"suite": "release-smoke",
"cases": [
{
"id": "grounded-answer",
"actual": "The result is 42. Source: benchmark.csv",
"includes": ["42", "Source:"],
"excludes": ["I cannot verify"]
}
]
}
运行评估¶
在可执行该 CLI 的环境中运行：
npx dsh-eval-regression suites/release-smoke.json
如果已经在插件仓库中，也可以使用：
npm run evaluate -- suites/release-smoke.json
运行后，CLI 会向 stdout 打印报告。报告包含 total passed 和 failed cases、0..1 score，以及逐用例 missing 或 forbidden fragments。
本地开发检查¶
仓库提供以下常用命令：
npm test
npm run typecheck
这些命令用于本地验证插件代码。
适用场景与注意¶
这个插件适合以下场景：
- 需要检查 DSH 候选输出是否包含 required fragments
- 需要检查候选输出是否出现 forbidden fragments
- 需要在 CI 中保留可重复的 pass/fail 证据
- 需要把 JSON suite 作为可维护的文件管理
使用它时，要注意边界。它有意保持为狭窄的确定性评估器，不替代模型质量评审、事实依据、工具执行检查或快照重放。
插件以当前 dsh 进程权限运行，安装前应检查源码与许可证。当前已核实许可证为 MIT。
依赖与集成信息如下：
{
"peerDependencies": {
"@deepseek-ai/cordis": "^4.0.1",
"@deepseek-ai/dsh-tools": "^0.1.0-rc.6"
}
}
package.json 中的 dsh.bundle.patch 指向 ./cordis.patch.yml。
链接¶
目录页：
https://www.skillhub.cn/plugins/aryswisnu/dsh-eval-regression
GitHub：
