前言¶

DeepSeek Harness（DSH）把智能体开发过程变成了「可观测、可复现」的工程。但在日常使用中，我们仍会面对一个常见问题：模型给出的回答质量参差不齐，但缺少一个系统性的体检手段。现有的自动评审类插件往往会在回答不达标时直接重写，改变了你原本看到的输出，且每轮都要额外调用评审模型，成本不低。

下面介绍的 Model Quality Radar 插件，解决的是「看懂回答质量、并指导下次怎么问」的问题。它只观测、不重写，默认本地评分，可按需接入 Jev 精评，输出带证据的质检报告和可复制的提示词改进建议。

这是什么¶

Model Quality Radar（插件名：dsh-quality-lens）是一个为每个 DeepSeek Harness 回答提供质量与话题关联体检的工具。由维护者 lishinho 开发，已适配 DSH ≥ 0.2.1-rc.2。它不介入回答生成过程，只在回答落盘后进行分析，输出五维质量分、话题关联度、证据引用与提示词调优建议。

核心功能¶

1. 五维评分与话题关联度

• 动作行内嵌 ◆ 质量 90 · 关联 100%，分数不渲染空位，不抖动。
• 五维评分：相关性（25%）、完整性（20%）、可信度（20%）、清晰度（15%）、可执行性（20%）。
• 话题关联度：将问题拆成子意图，标出覆盖、部分覆盖与偏离段落。
• 上下文感知：追问时会参考上一轮问题与回答，避免关键词误判。

2. 证据引用与置信度

• 每条结论都能回到回答原文，不凭空打分。
• 证明不了就标低置信度；分数用于比较表达与任务达成，不做事实裁决。

3. 提示词调优建议

• 报告底部提供「提示词调优」：根据回答短板反推提问方式。
• 常见场景：
• 子问题没答全 → 建议把问题拆成编号，要求逐条回答。
• 建议不可执行 → 要求「步骤 + 判断规则」。
• 出现绝对化断言 → 要求来源、不确定性与适用前提。
• 对比题没维度 → 把「价格 / 能力 / 场景 / 限制」写进 prompt。
• 每条建议提供一段可直接复制的改写提问，保留原问题并追加要求。

4. 本地标签引擎与可选 Jev 精评

• 默认采用本地标签引擎：把回答分类成显式标签（意图 / 结构 / 证据 / 绝对化 / 跑题 / 覆盖…），再由标签映射到分数。确定、离线、零成本。
• 需要更强语义判断时，可开启 Jev（TypeSafe 的非生成式决策模型）：一次请求用类型化的 score / noul 问题拿回带置信度的判定，失败自动回退本地分，不阻塞 UI。

5. 校准工具

• 从本机历史会话抽取 20 条问答，人工打分，运行 MAE / Spearman 等指标，按真实偏差调规则。
• 校准脚本：
• node scripts/extract-samples.mjs --limit 20
• node scripts/make-labeling-page.mjs
• open calibration/labeling.html
• node scripts/apply-labels.mjs --labels calibration/labels.jsonl
• node scripts/calibrate.mjs --in calibration/samples.labeled.jsonl
• 输出 MAE / RMSE / Spearman / 档位一致率 / 偏差最大的样本，目标 MAE ≤ 8。

安装与启用¶

通过官方命令安装：

dsh plugin --profile web add github:lishinho/dsh-quality-lens

或使用 npm 包名：

dsh plugin --profile web add dsh-quality-lens

也可从预构建 tarball 安装：

dsh plugin --profile web add https://github.com/lishinho/dsh-quality-lens/releases/latest/download/dsh-quality-lens.tgz

本地打包安装：

pnpm pack
dsh plugin add ./dsh-quality-lens-0.1.0.tgz

安装后发一条 ≥80 字的回答，动作行会出现 Chip；确认 / 寒暄类消息（如「可以了 我试试」）不会评分。

典型用法¶

• 安装后，在 DSH 中正常提问。动作行会显示 ◆ 质量 X · 关联 Y%。
• 点击动作行 Chip，打开报告面板，查看五维评分、话题关联、证据与提示词调优建议。
• 在报告底部点击「复制改写」，将改进后的提问用于下一轮对话。
• 若需更强的语义判断，可在配置中启用 Jev 精评：

  - id: quality-lens
    config:
      engine: jev
      jev:
        provider: openrouter
        apiKeyEnv: OPENROUTER_API_KEY
        timeoutMs: 4000

• 若分数与你的判断偏差较大，可运行校准脚本，调整规则。

适用场景与注意¶

• 适合需要持续优化提示词、评估回答质量的 DSH 用户，尤其是追求「看清问题、下次问得更好」而非自动改写答案的场景。
• 插件以当前 DSH 进程权限运行，安装前建议检查源码与许可证（MIT）。
• 默认引擎在本地完成，不调用模型、不联网；报告只存本机 $DSH_HOME/quality-lens/reports.jsonl，删除目录即清空。
• 隐私保护：Jev 模式需显式配置 key，且仅发送当前问答；旧报告在加载时也会被清洗。

短结尾¶

Model Quality Radar 提供了一套可观测、可解释、可校准的回答体检方案，把「回答哪里弱」翻译成「下次怎么问」。插件仓库与目录页如下：

• 目录页：https://www.skillhub.cn/plugins/lishinho/dsh-quality-lens
• GitHub：https://github.com/lishinho/dsh-quality-lens