前言¶

在 DSH 中，主 Agent 會持續生成代碼、執行命令並調用工具。對多候選方案、長任務進度和最終會話是否可信，僅靠模型自己判斷或人工逐條檢查，往往不夠直接。

dsh-llm-verifier 的做法是引入一個可配置的獨立複覈機制：主 Agent 負責執行任務，插件再基於當前會話、候選方案和終端執行證據，調用設置中指定的裁判模型進行復核。

下面介紹它的能力、安裝方式、基本用法和需要注意的邊界。

這是什麼¶

dsh-llm-verifier 是一個 DSH 原生插件，定位爲可配置的 DSH 原生 LLM verifier，並帶 Web 設置頁。倉庫 owner 爲 Aa728848。

它解決的核心問題是：在主 Agent 完成一輪任務後，用獨立裁判模型對“哪個候選更可靠、任務進展到什麼程度、當前會話是否達到驗收標準”進行顯式判定。

核心功能¶

先說能力邊界。這個插件提供四個顯式工具：

• verifier_compare
• verifier_select
• verifier_track
• verifier_current_session

並支持可配置的宿主級自動會話驗收。

自動驗收發生在 agent/turn-stopping 生命週期邊界，並按階段調度：

select → compare → track → current_session

判定使用 A–T 細粒度標尺，插件再把判定換算爲 0–1 分數。對於成對比較，它會通過兩輪位置交換降低位置偏見。

評分上，插件支持概率期望評分；當路由不支持 logprobs 時，回退到顯式標籤。

多候選方案場景下，插件使用 Probabilistic Pivot Tournament 處理候選比較。

插件還支持持久化評分緩存、重試與遙測統計。成功評分緩存與調用統計寫入當前 DSH 話題的持久化目錄：

~/.dsh/sessions/<workspace>/<session-id>/verifier/

插件層安裝後，DSH 會自動識別包內的 dsh.bundle 聲明並完成插件層自動對齊，無需手動修改任何配置文件。

安裝與啓用¶

下面以 web profile 爲例。安裝命令：

dsh plugin --profile web add dsh-llm-verifier

安裝成功後，DSH 會自動識別包內 dsh.bundle 聲明並完成插件層自動對齊。

啓動 DSH Web 客戶端：

dsh web

或：

dsh --profile web

進入界面後，打開：

設置 → LLM Verifier

在這裏配置 Provider、Model、推理強度（Reasoning Effort）、最大併發與緩存策略。

常用管理命令：

dsh plugin --profile web update dsh-llm-verifier

更新插件。

dsh plugin --profile web remove dsh-llm-verifier

卸載插件。

dsh plugin --profile web list

查看當前 profile 已安裝的插件。

典型用法¶

顯式調用時，插件暴露四個工具名：

verifier_compare
verifier_select
verifier_track
verifier_current_session

它們分別用於成對比較、多候選選擇、進度跟蹤和當前會話複覈。自動模式下，插件在 agent/turn-stopping 邊界按階段調度這些工具；開啓自動驗收後，最終會話複覈會參與驗收判定。

如果只需要複用核心算法，也可以把它作爲普通 npm 依賴引入：

pnpm add dsh-llm-verifier

import {
  extractScore,
  extractProgressScore,
  bradleyTerry,
  pivotRoundPairs,
} from 'dsh-llm-verifier/core'

這段導入用於引用核心評分和錦標賽相關函數。

適用場景與注意¶

適合在以下 DSH 使用方式中使用：

• 多個候選方案需要比較或選擇；
• 長任務有多個檢查點，需要跟蹤完成度；
• 會話結束前需要一次顯式或自動的最終驗收；
• 需要在 Web 設置頁裏切換 Provider、Model、Reasoning Effort、最大併發和緩存策略。

需要注意：

1、插件以當前 DSH 進程權限運行，安裝前應檢查源碼和許可證。

2、當前已覈實資料未明確許可證信息，也未提供目錄頁 URL；使用前應自行確認倉庫中的許可證條款。

3、關閉啓用工具後，顯式調用會立即報錯，自動門控也不會運行。

4、路由或驗收異常時採用 fail closed 策略。

5、若裁判模型不支持圖像輸入，傳入圖片時由對應 DSH Adapter 明確報錯攔截，插件不會靜默丟棄圖片證據。

6、核心算法源自上游項目 llm-as-a-verifier/llm-as-a-verifier。

結尾¶

dsh-llm-verifier 的價值在於把“判斷候選、跟蹤進度、驗收會話”從主 Agent 的隱式行爲中拆出來，交給可配置的獨立裁判模型處理。

GitHub 地址：

https://github.com/Aa728848/dsh-llm-verifier

目錄頁 URL 未在已覈實資料中提供。