dsh-plugin-verdict-guard：防止無據的結論

前言¶

在智能體開發中，最昂貴的錯誤往往不是錯誤的修復，而是錯誤的“關閉性結論”。一句“不工作”、“沒有 bug”或“無法復現”的結論，如果缺乏證據，不會留下任何痕跡，導致問題方向被悄然關閉。相反，一句錯誤的“它工作”可以通過後續運行被捕捉到。

dsh-plugin-verdict-guard 插件通過機械化的方式解決這種不對稱性：在智能體回合的停止邊界，檢查模型即將關閉的結論是否包含可驗證的證據。如果結論是判決（verdict）但缺少證據，該回合將被攔截並引導模型補充證據。

插件簡介¶

dsh-plugin-verdict-guard 是 DeepSeek Harness (DSH) 的原生插件，用於攔截並引導那些僅陳述結論而無證據支持的回合。

維護者：sagetta1
許可證：MIT
類別：模型推理
核心價值：確保模型在關閉一個方向之前，必須提供可供驗證的證據（如工具執行結果），防止靜默的誤判。

核心功能¶

攔截無據結論：當模型試圖結束回合並給出判決性結論（如“不工作”），但未提供任何可檢查的內容時，該回合會被攔截。
驗證工具結果：插件不僅檢查模型的文本輸出，還會檢查會話日誌中的實際工具調用結果（如 bash、grep、read 等）。如果模型聲稱某事爲真，但實際未運行任何驗證工具，該結論將被視爲無效。
區分路徑與證據：插件會區分“文件路徑”（可能僅是回憶）和“命令轉述”（如 fenced block、測試結果、HTTP 狀態碼）。前者不足以觸發嚴格的攔截，後者則可以。
限制干預頻率：默認情況下，插件每回合僅攔截一次。這是一種“減速帶”而非“死鎖”機制，防止無限循環，同時限制單次會話的總干預次數。

安裝與配置¶

插件通過 DSH 的插件管理器安裝。

安裝¶

dsh plugin add dsh-plugin-verdict-guard

驗證安裝¶

安裝後，檢查插件是否正確合併到配置樹中：

dsh --profile headless --dump-config | grep -A 3 verdict-guard

配置¶

插件支持通過 cordis.patch.yml 進行配置。以下是默認配置與常見修改示例：

- id: verdict-guard
  config:
    locale: en
    requireToolEvidence: false
    maxInterventionsPerTurn: 2

配置項說明¶

配置項	默認值	說明
`locale`	`both`	參與判決詞彙表的語言選項，支持 `en`、`ru` 或 `both`
`requireToolEvidence`	`true`	判決是否需要驗證性工具結果（如 bash/read/grep），而不僅僅是任何工具結果
`maxInterventionsPerTurn`	`1`	單回合允許的最大攔截次數
`maxInterventionsPerSession`	`6`	單會話允許的最大攔截次數
`verbose`	`false`	是否在調試級別記錄所有通過/攔截決策

工作原理¶

插件監聽 DSH 的 agent/turn-stopping 事件。在回合停止邊界，它會執行以下步驟：
1. 讀取模型即將輸出的關閉性文本。
2. 讀取回閤中實際發生的工具調用與工具結果（會話日誌）。
3. 判定文本中是否包含判決性詞彙，且是否有對應的證據。
4. 如果沒有證據，調用 agent.steer(reason) 強制模型重新觀察輸入並運行下一步，直到回合結束或證據出現。

重要提示：DSH 目前在循環控制上存在 TODO(stop-loop-guard)，因此監聽器必須自行限制干預次數（通過 maxInterventionsPerTurn），否則可能導致無限循環。

注意事項與兼容性¶

不驗證真僞：插件只檢查是否存在可供檢查的證據，不驗證結論本身是否爲真（不充當 Oracle）。
工具依賴：插件要求使用驗證性工具（如 bash、read、grep）來生成證據，單純寫入文件通常不被視爲檢查。
版本兼容性：該插件構建並測試基於 0.1.0-rc.8。
- ⚠️ DSH 自身子包的 latest 標籤已過期，請使用 @next 標籤或顯式指定 ^0.1.0-rc.8 範圍，以避免混合不兼容的版本。
權限與來源：安裝前請檢查源碼與許可證。

總結¶

dsh-plugin-verdict-guard 通過在回合停止邊界引入證據檢查機制，有效遏制了靜默的誤判。它不替代人工審覈，而是作爲一道自動化的“減速帶”，迫使模型在關閉問題方向前提供可追溯的驗證過程。

目錄頁：dsh-plugin-verdict-guard - SkillHub
源碼倉庫：GitHub - sagetta1/dsh-verdict-guard