dsh-touchstone:给 DSH 自改造补上评测这一环
DSH 支持插件化替换 prompt 与预设,但缺少「改完是否真的更好」的评测闭环。dsh-touchstone(试金石)用同一套 golden cases 并排跑 current 与 candidate,以 must contain、regex、LLM judge 等检查加权打分,输出 before→after 报告与留撤建议。仅通过 ctx.llm.stream() 调用模型,不 patch harness,支持 desktop 与 web 安装。数据存于 ~/.dsh/touchstone/bench.json。适合 prompt 与 house rule 的文本层回归,不适合需真实副作用的工具改动验证。
阅读全文