前言¶

在构建基于 DeepSeek Harness (DSH) 的智能体时，模型有时会产生事实性错误、逻辑矛盾或未完全遵循指令。人工审查效率低下，而让模型自我纠错往往不可靠。针对这个问题，插件提供了一种自动化的解决方案，通过引入独立的审查模型来审计每次助手回复，并在发现问题时引导代理进行修复。

插件介绍¶

dsh-quality-review 是 DeepSeek Harness (DSH) 的一个工作流插件。它由 CAI-MH 维护，使用独立审查模型对每次助手回复进行审计，并在发现问题时引导代理进行修复，最多支持 2 轮修正。

核心功能¶

插件提供以下核心能力：

1. 独立审查模型审计：在每轮对话即将结束的 agent/turn-stopping 时刻，插件截取助手最新可见的回复，交由独立的审查模型进行审计。
2. 引导修复：当审查结果判定为“失败”时，插件会向代理发出具体的修复请求，迫使模型重写回复，从而保持对话轮次开放直到符合要求。
3. 多维审查维度：支持自定义开启或关闭以下审查维度：
   • 事实准确性
   • 完整性
   • 逻辑一致性
   • 指令遵循
4. SOP 参考标准：支持加载 SOP 文件夹内容作为质量标准。当用户提示匹配文件夹内的文件名时，会将文件内容注入审查提示词，增加“是否符合 SOP 规范”的审查维度。

安装与启用¶

安装过程需要使用 DSH 提供的插件管理命令。

dsh plugin --profile web add dsh-quality-review

安装完成后，插件会以默认配置运行。也可以通过修改 package.json 的依赖并重启 dsh web 来启用。

配置与用法¶

每个字段都有安全默认值，无需配置即可插入。如需自定义审查逻辑，需要在智能体的配置文件 cordis.patch.yml 中覆盖相关配置项。

- id: quality-review
  config:
    enabled: true            # 总开关；设为 false 时插件加载但不生效
    reviewer:
      provider: ''           # 审查模型提供商 ID；留空则复用代理自身的 provider
      model: ''              # 审查模型 ID；留空则复用代理自身的模型
    maxRounds: 2             # 每轮对话允许的最大引导修复轮次（循环保护，最大为 5）
    aspects:
      factualAccuracy: true
      completeness: true
      logicalConsistency: true
      instructionFollowing: true
    minReplyChars: 200       # 跳过短于该字符数的回复
    sop:
      enabled: true          # SOP 参考标准开关（默认开启）
      dir: ''                # SOP 文件夹路径；留空则使用 DSH_HOME/quality-review/sop
    exemptPatterns:          # 额外的静态关键词列表；匹配时跳过审查（可选）
      - 代码 review

SOP 文件夹配置¶

SOP 文件夹默认位于 DSH_HOME/quality-review/sop。插件会自动扫描该文件夹。每轮对话中，只要用户提示包含任意文件名（不区分大小写，忽略扩展名），插件就会加载该文件夹下所有文件的内容，并将其作为“任务标准”注入到审查提示词中。审查模型会根据这些标准判断回复是否合规。

适用场景与注意¶

该插件适合需要高可靠性输出的智能体场景，特别是涉及事实检索、逻辑推理或严格格式要求的任务。

注意：
1. 插件以当前 DSH 进程的权限运行，安装前建议检查源码。
2. 插件遵循 MIT 许可证。

结尾¶

通过上述步骤，可以在 DSH 中为智能体增加一层自动化的质量门禁。它通过独立模型审计和轮次限制，有效减少了模型幻觉和指令遗漏，提升了智能体回复的稳定性。

• 插件目录：https://www.skillhub.cn/plugins/CAI-MH/dsh-quality-review
• GitHub 仓库：https://github.com/CAI-MH/dsh-quality-review