DSH（DeepSeek Harness）採用“一切皆插件”的架構。在模型推理場景中，如何在不增加算力成本的前提下提升輸出質量，是開發者關注的核心問題。aispin-dev/llm-as-a-verifier-dsh 插件將 LLM-as-a-Verifier（arXiv:2607.05391）的測試時選擇方法封裝爲 DSH 原生插件。它通過 Best-of-N 對話模式，爲 DeepSeek V4 Flash 提供測試時擴展能力：在 Terminal-Bench 2.1 數據集上，Bo5 自驗證達到 88% 的準確率，以約 1/11 的成本復現了前沿模型的性能。
核心原理¶
該方法的核心在於解決“便宜模型能生成好答案，但認不出哪個是好答案”的問題。插件將這一流程自動化：
- 採樣候選：從配置的模型（如 DeepSeek V4 Flash）中採樣 N 個略有差異的回答。
- 細粒度評分：使用同一模型對候選兩兩評分。評分並非簡單的字母採樣，而是基於 grade token 對數概率分佈的期望值（Σ p(token)·φ(letter)），這是模型的完整信念，而非一次隨機擲骰。
- 消除偏置：每對候選進行雙向評分，抵消驗證器的位置偏置。
- 擇優輸出：在 Best-of-N 模式下，系統自動選出最佳候選呈現給用戶。
安裝與啓用¶
安裝過程依賴 npm 包管理器，推薦通過 profile 上下文解析依賴。
dsh plugin --profile <your-profile> add @aispin/plugin-verifier
該插件支持零配置啓動，它會繼承 dsh 當前配置的 provider 狀態（包括憑證與設置）。只要在 Models 頁面配置過 DeepSeek，插件即可直接使用。
功能說明¶
該插件提供三種交互方式，分別用於不同場景：
- 工具模式：
verify工具。當對話中的智能體明確指令“使用 verify 工具比較 A/B/C”時，插件介入進行驗證。 - 服務模式：
ctx.verifier.verify({ task, candidates })。供其他插件或編排腳本調用，進行代碼層面的驗證邏輯控制。 - 自動模式：Best-of-N 對話模式。在選中該模式的會話中，系統在後臺自動執行 N 路採樣與驗證，僅將勝者輸出給用戶。
實現細節¶
插件對論文算法進行了 DSH 原生實現，包含以下特性：
- 細粒度獎勵：基於 top-20 logprob 分佈計算期望分，分組帶量表（A=20…T=1），評分溫度設爲 1.0 以保持自然分佈。
- PPT 概率樞軸錦標賽：通過隨機哈密頓環和 top-k 樞軸篩選，僅補全非樞軸與樞軸的配對，顯著減少評分調用次數（如 Bo-5 僅需 11 次評分）。
- 前綴緩存佈局：優化 prompt 結構，將角色、量表、任務與候選放入共享前綴，減少 token 消耗。
- 能力自適應評分：自動檢測端點是否支持 logprobs。支持 logprobs 的端點（如官方端點）使用期望分；不支持端點（如部分網關）自動降級爲雙評採樣評分。
- Fail-open 紀律：任何採樣失敗或超時，系統會降級爲普通回答並附帶說明，確保對話流程不中斷。
配置與消耗¶
在 Web 設置面板中，可以通過檔位控制驗證強度：
| 檔位 | 模型調用 | Token 消耗 | 延遲 |
|---|---|---|---|
| 關閉 | 1 次 | 1× | 1× |
| 快速 · Bo-3 | ~9 次 | 2–3× | ~7–15s |
| 精準 · Bo-5 | ~16 次 | 3–5× | ~12–30s |
| 自定義 | 2–8 路 | 線性 | 線性 |
採樣降級鏈：每路採樣都有獨立的預算。若 Bo-5 採樣中有 2 路超時，系統會自動降級爲 Bo-3 並繼續對存活者擇優，最終會在回答頁腳顯示實際消耗情況（如 採樣 5 路 2 路未完成 · 3 選 1）。
注意事項¶
- 權限要求：插件以當前 DSH 進程的權限運行，安裝前請檢查源碼與許可證。
- 許可證：實現代碼與方法均遵循 MIT 許可證。
- 非官方：插件與論文作者或 DeepSeek 無隸屬關係。
該插件爲 DSH 用戶提供了一種低成本、高可解釋性的測試時擴展方案，適合對推理質量有較高要求且需控制成本的生產環境。
