前言¶

在構建基於 DeepSeek Harness (DSH) 的智能體時，模型有時會產生事實性錯誤、邏輯矛盾或未完全遵循指令。人工審查效率低下，而讓模型自我糾錯往往不可靠。針對這個問題，插件提供了一種自動化的解決方案，通過引入獨立的審查模型來審計每次助手回覆，並在發現問題時引導代理進行修復。

插件介紹¶

dsh-quality-review 是 DeepSeek Harness (DSH) 的一個工作流插件。它由 CAI-MH 維護，使用獨立審查模型對每次助手回覆進行審計，並在發現問題時引導代理進行修復，最多支持 2 輪修正。

核心功能¶

插件提供以下核心能力：

1. 獨立審查模型審計：在每輪對話即將結束的 agent/turn-stopping 時刻，插件截取助手最新可見的回覆，交由獨立的審查模型進行審計。
2. 引導修復：當審查結果判定爲“失敗”時，插件會向代理發出具體的修復請求，迫使模型重寫回復，從而保持對話輪次開放直到符合要求。
3. 多維審查維度：支持自定義開啓或關閉以下審查維度：
   • 事實準確性
   • 完整性
   • 邏輯一致性
   • 指令遵循
4. SOP 參考標準：支持加載 SOP 文件夾內容作爲質量標準。當用戶提示匹配文件夾內的文件名時，會將文件內容注入審查提示詞，增加“是否符合 SOP 規範”的審查維度。

安裝與啓用¶

安裝過程需要使用 DSH 提供的插件管理命令。

dsh plugin --profile web add dsh-quality-review

安裝完成後，插件會以默認配置運行。也可以通過修改 package.json 的依賴並重啓 dsh web 來啓用。

配置與用法¶

每個字段都有安全默認值，無需配置即可插入。如需自定義審查邏輯，需要在智能體的配置文件 cordis.patch.yml 中覆蓋相關配置項。

- id: quality-review
  config:
    enabled: true            # 總開關；設爲 false 時插件加載但不生效
    reviewer:
      provider: ''           # 審查模型提供商 ID；留空則複用代理自身的 provider
      model: ''              # 審查模型 ID；留空則複用代理自身的模型
    maxRounds: 2             # 每輪對話允許的最大引導修復輪次（循環保護，最大爲 5）
    aspects:
      factualAccuracy: true
      completeness: true
      logicalConsistency: true
      instructionFollowing: true
    minReplyChars: 200       # 跳過短於該字符數的回覆
    sop:
      enabled: true          # SOP 參考標準開關（默認開啓）
      dir: ''                # SOP 文件夾路徑；留空則使用 DSH_HOME/quality-review/sop
    exemptPatterns:          # 額外的靜態關鍵詞列表；匹配時跳過審查（可選）
      - 代碼 review

SOP 文件夾配置¶

SOP 文件夾默認位於 DSH_HOME/quality-review/sop。插件會自動掃描該文件夾。每輪對話中，只要用戶提示包含任意文件名（不區分大小寫，忽略擴展名），插件就會加載該文件夾下所有文件的內容，並將其作爲“任務標準”注入到審查提示詞中。審查模型會根據這些標準判斷回覆是否合規。

適用場景與注意¶

該插件適合需要高可靠性輸出的智能體場景，特別是涉及事實檢索、邏輯推理或嚴格格式要求的任務。

注意：
1. 插件以當前 DSH 進程的權限運行，安裝前建議檢查源碼。
2. 插件遵循 MIT 許可證。

結尾¶

通過上述步驟，可以在 DSH 中爲智能體增加一層自動化的質量門禁。它通過獨立模型審計和輪次限制，有效減少了模型幻覺和指令遺漏，提升了智能體回覆的穩定性。

• 插件目錄：https://www.skillhub.cn/plugins/CAI-MH/dsh-quality-review
• GitHub 倉庫：https://github.com/CAI-MH/dsh-quality-review