前言¶
DeepSeek Harness(DSH)在構建智能體時,任務輸出往往依賴 LLM 的採樣結果,這導致“虛假完成”或“未完成但自我報告完成”的情況難以避免。現有的 DSH 工作流插件通常將獨立驗證留給了上層架構,留下了運行時的安全缺口。
deepseek-harness-reliability-governor 插件旨在填補這一通用運行時缺口。它不試圖讓 LLM 變得確定,而是通過“可靠性契約”在契約激活期間,將智能體的行爲引導至可觀察的檢查通過、有界修復耗盡或真實報告認證爲止。它將模型的一次性斷言轉變爲一個基於證據的確定性決策過程。
核心能力¶
該插件提供了一套命令,用於管理證據門控和代碼驗證流程:
reliability_assess:在評估任務輸出之前,預覽聲明式覆蓋範圍、獨立源計數以及脆弱證據警告。reliability_draft:在可選的輔助模型模式下,請求一個受限制的僅文本草稿,並記錄其來源和回執。reliability_begin:開啓一個顯式的完成契約。reliability_begin_code:開啓一個代碼契約,該契約自動包含每個部署所需的受信任驗證配置文件。reliability_verify:立即運行確定性檢查。reliability_status:讀取持久化契約、嘗試次數、終端狀態和回執。reliability_abstain:停止而不僞造證明。reliability_code_profiles:列出受信任配置文件的元數據,而不暴露模型可重寫的命令。reliability_code_verify:通過 Harness 管理的子進程和沙箱服務執行不可變配置文件。agent/turn-stopping enforcement:在允許結算前驗證活躍契約,然後引導有界修復或真實報告認證/耗盡。
審覈機制與意圖確認¶
默認情況下,reliability_begin 在激活前會暫停兩次。第一次使用 A2UI v0.9.1 的基礎目錄界面,展示解釋後的目標、約束、假設、非目標和歧義。只有對精確意圖的批准纔會開啓第二個界面,顯示聲明、檢查、作者身份、覆蓋警告和修復預算。客戶端如果沒有自定義渲染器,將通過 Harness 的原生問題 UI 接收這些提案。兩個階段的批准都是回執綁定的;任一階段失敗都不會留下活躍契約。
代碼驗證與證據管理¶
插件通過 Harness 的 ctx.subprocess 和 ctx.sandbox 執行代碼檢查,模型僅提供配置文件 ID。插件從不使用 LLM 作爲結果裁判,不啓動提供商重試/回退,也不重複業務操作。
受信任驗證者的證據會被保守地取消有效性。任何隨後的非治理者工具調用(包括嵌套的代碼模式調度)以及任何具有 workspace-write 訪問權限的後續不同驗證配置文件都會取消其有效性。這防止了測試結果驗證在代理或其他驗證者更改代碼後仍被認證。
安裝與使用¶
這是一個非官方社區項目,使用 MIT 許可證。可以通過社區目錄或 GitHub 倉庫訪問:
- 社區目錄: https://www.skillhub.cn/plugins/chenjie1129/deepseek-harness-reliability-governor
- GitHub 倉庫: https://github.com/chenjie1129/deepseek-harness-reliability-governor
插件版本爲 0.7.0,需 Node.js 版本 ^22.19.0 || >=24.0.0。
注意事項¶
- 非官方項目:這是一個社區項目,公開招募公測測試員。反饋協議見倉庫內的
FEEDBACK.md。 - 不替代 LLM 判斷:插件不使 LLM 確定性,只對契約下的代理引導做出更窄的承諾。
- 保守的證據取消:任何後續的非治理者工具調用都可能使受信任證據失效,需要重新運行驗證。
總結¶
該插件通過顯式的契約和證據門控,爲 DSH 智能體提供了確定性完成和代碼驗證的基礎設施。適合需要在任務輸出上進行嚴格證據審查和邊界測試的開發場景。