dsh-eval-harness:让 Agent 应用评测的每个数字可复现

dsh-eval-harness 是 LTJ002 维护的 DSH 技能包(非宿主功能插件),为 Agent 应用提供可复现评测方法学与可运行脚本:判据只取审计表、结构化日志等外部事实,正向加反向双向断言,基线按绝对条数对比,offline / live-strict / live 三档严格度中安全类零容忍,并用变异测试验证评测器自身没坏。覆盖 RAG 检索、RAG 生成、工具调用、提示词安全与多轮对话,框架无关,只要求对话可编程访问与副作用可查询。安装命令为 dsh plugin add https://github.com/LTJ002/dsh-eval-harness,数据集必须整体替换,eval_online.py 的三个接口需按项目改写,退出码 2 表示结果不可用而非质量失败。文档为中文,MIT 许可证,版本 1.0.0。

阅读全文