前言¶

在 DeepSeek Harness（DSH）的工作流中，Agent 聲稱完成（“Done”）往往只是主觀判斷，背後可能隱藏着測試失敗、構建錯誤或需求遺漏。爲了解決這個問題，需要一個獨立的驗收層來驗證 Agent 的產出。下面介紹 dsh-autopilot 插件。

它是什麼¶

dsh-autopilot 是一個面向 DeepSeek Harness 的驗收驅動自動完成引擎。項目由 245678000000 維護，開源協議爲 MIT。它解決了 Agent 自稱完成不代表任務真正完成的問題，通過確定性評估器獨立驗收，確保只有在所有必選檢查通過時才簽發完成證書。

插件主要提供以下能力：

獨立驗收與自動完成：掛在官方 agent/turn-stopping 上，不替換 ctx.goals，獨立評估 Agent 產出。
修復循環與重試機制：對可修復的失敗生成結構化反饋，通過 agent.steer 繼續當前回合，或交給官方 driver 排下一輪。
證書生成：通過後寫出 CompletionCertificate，明確標記驗證狀態。
多種評估器：支持 command（命令執行）、file（文件檢查）、regex（正則匹配）、git（工作區狀態）、http（HTTP 請求）、manual（人工確認）、agent（獨立評判）等多種評估方式。
迴歸/無進展/振盪檢測：對比上一輪結果，防止模型在錯誤方向上空轉或出現 A/B 翻轉。
阻斷機制：對缺密鑰、審批拒絕、必選標準無法驗證等情況進行阻斷，避免無效重試。

系統需要 Node.js 20.19+ 以及已安裝的 DeepSeek Harness。

作爲 Harness 插件安裝：

dsh plugin add https://github.com/245678000000/dsh-autopilot

或使用本地 checkout 做 overlay：

pnpm dsh web --patch /absolute/path/to/dsh-autopilot/cordis.patch.yml

插件提供獨立的 CLI 工具，無需運行完整 Harness 即可評估項目。

獨立評估（不執行 shell 命令）：

dsh-autopilot evaluate --cwd ./fixtures/file-only

獨立評估（授權執行 shell 命令）：

dsh-autopilot evaluate --cwd ./examples/login --allow-commands

常用命令還包括查看狀態、標準配置和證書：

dsh-autopilot status
dsh-autopilot criteria
dsh-autopilot certificate

運行演示場景：

npm run demo

dsh-autopilot 適合需要嚴格驗收標準、防止 Agent 自欺欺人的工作流。

注意事項包括：

配置不可信：.autopilot.yml 視爲不可信項目配置，寫壞的驗收標準會簽發錯誤證書。
概率性評估：LLM 評估器是概率性的，非法輸出記爲 error，不是 pass。
系統可用性：外部系統可能不可用。
數學證明侷限：測試通過在數學上不能證明軟件正確。
權限風險：插件以當前 DSH 進程權限運行，安裝前應檢查源碼與許可證。
進程內調用限制：受信任的進程內插件如果直接調用 ctx.goals.complete()，官方 Goal 服務仍然認可，Autopilot 攔截的是模型工具調用，不是所有 in-process 調用。

dsh-autopilot 通過引入獨立的驗收層，將“Done”的定義從主觀聲明轉化爲客觀驗證，提高了 Harness 工作流的可靠性。更多細節請參考 GitHub 倉庫。