前言¶

在 DSH 中，主 Agent 会持续生成代码、执行命令并调用工具。对多候选方案、长任务进度和最终会话是否可信，仅靠模型自己判断或人工逐条检查，往往不够直接。

dsh-llm-verifier 的做法是引入一个可配置的独立复核机制：主 Agent 负责执行任务，插件再基于当前会话、候选方案和终端执行证据，调用设置中指定的裁判模型进行复核。

下面介绍它的能力、安装方式、基本用法和需要注意的边界。

这是什么¶

dsh-llm-verifier 是一个 DSH 原生插件，定位为可配置的 DSH 原生 LLM verifier，并带 Web 设置页。仓库 owner 为 Aa728848。

它解决的核心问题是：在主 Agent 完成一轮任务后，用独立裁判模型对“哪个候选更可靠、任务进展到什么程度、当前会话是否达到验收标准”进行显式判定。

核心功能¶

先说能力边界。这个插件提供四个显式工具：

• verifier_compare
• verifier_select
• verifier_track
• verifier_current_session

并支持可配置的宿主级自动会话验收。

自动验收发生在 agent/turn-stopping 生命周期边界，并按阶段调度：

select → compare → track → current_session

判定使用 A–T 细粒度标尺，插件再把判定换算为 0–1 分数。对于成对比较，它会通过两轮位置交换降低位置偏见。

评分上，插件支持概率期望评分；当路由不支持 logprobs 时，回退到显式标签。

多候选方案场景下，插件使用 Probabilistic Pivot Tournament 处理候选比较。

插件还支持持久化评分缓存、重试与遥测统计。成功评分缓存与调用统计写入当前 DSH 话题的持久化目录：

~/.dsh/sessions/<workspace>/<session-id>/verifier/

插件层安装后，DSH 会自动识别包内的 dsh.bundle 声明并完成插件层自动对齐，无需手动修改任何配置文件。

安装与启用¶

下面以 web profile 为例。安装命令：

dsh plugin --profile web add dsh-llm-verifier

安装成功后，DSH 会自动识别包内 dsh.bundle 声明并完成插件层自动对齐。

启动 DSH Web 客户端：

dsh web

或：

dsh --profile web

进入界面后，打开：

设置 → LLM Verifier

在这里配置 Provider、Model、推理强度（Reasoning Effort）、最大并发与缓存策略。

常用管理命令：

dsh plugin --profile web update dsh-llm-verifier

更新插件。

dsh plugin --profile web remove dsh-llm-verifier

卸载插件。

dsh plugin --profile web list

查看当前 profile 已安装的插件。

典型用法¶

显式调用时，插件暴露四个工具名：

verifier_compare
verifier_select
verifier_track
verifier_current_session

它们分别用于成对比较、多候选选择、进度跟踪和当前会话复核。自动模式下，插件在 agent/turn-stopping 边界按阶段调度这些工具；开启自动验收后，最终会话复核会参与验收判定。

如果只需要复用核心算法，也可以把它作为普通 npm 依赖引入：

pnpm add dsh-llm-verifier

import {
  extractScore,
  extractProgressScore,
  bradleyTerry,
  pivotRoundPairs,
} from 'dsh-llm-verifier/core'

这段导入用于引用核心评分和锦标赛相关函数。

适用场景与注意¶

适合在以下 DSH 使用方式中使用：

• 多个候选方案需要比较或选择；
• 长任务有多个检查点，需要跟踪完成度；
• 会话结束前需要一次显式或自动的最终验收；
• 需要在 Web 设置页里切换 Provider、Model、Reasoning Effort、最大并发和缓存策略。

需要注意：

1、插件以当前 DSH 进程权限运行，安装前应检查源码和许可证。

2、当前已核实资料未明确许可证信息，也未提供目录页 URL；使用前应自行确认仓库中的许可证条款。

3、关闭启用工具后，显式调用会立即报错，自动门控也不会运行。

4、路由或验收异常时采用 fail closed 策略。

5、若裁判模型不支持图像输入，传入图片时由对应 DSH Adapter 明确报错拦截，插件不会静默丢弃图片证据。

6、核心算法源自上游项目 llm-as-a-verifier/llm-as-a-verifier。

结尾¶

dsh-llm-verifier 的价值在于把“判断候选、跟踪进度、验收会话”从主 Agent 的隐式行为中拆出来，交给可配置的独立裁判模型处理。

GitHub 地址：

https://github.com/Aa728848/dsh-llm-verifier

目录页 URL 未在已核实资料中提供。