在 DeepSeek Harness 的插件化生态中,多模型协作常面临输出不一致、缺乏客观评审或依赖单一模型判断的困境。dsh-model-jury 插件旨在提供一套结构化的跨模型同行评审机制,通过盲审、匿名互评和确定性裁决,让模型群体自行达成共识或识别分歧。
核心功能¶
该插件实现了以下工作流与能力:
- 结构化跨模型同行评审:定义了从提问到裁决的完整状态机。
- 盲审独立回答:第一轮中,所有模型接收相同指令,互不看见对方回答。
- 匿名同行互评:第二轮中,模型对匿名的同行回答进行点评,不暴露身份。
- 修订环节:模型有机会在第三轮根据互评结果修改自己的答案。
- 确定性裁决:代码逻辑计算投票结果(多数、异见、风险)并生成最终报告。
- 提供商中立:基于公开服务,不实现私有 HTTP 客户端或代理。
- 无永久主席:裁决由代码逻辑执行,不依赖特定模型作为主席。
安装与启用¶
使用官方安装命令将插件添加到 DSH Web 配置文件中:
dsh plugin --profile web add dsh-model-jury
安装完成后,检查配置是否生效,然后启动 Web 界面:
dsh --profile web --dump-config
dsh web
配置与模型设置¶
Model Jury 使用 DSH 提供的提供商中立服务。不同模型的配置方式不同。
GPT (Codex)¶
GPT 座位使用 DSH 的原生 Codex 应用服务器提供者,利用用户原生的 ChatGPT/Codex 订阅认证。不需要 OPENAI_API_KEY。插件会注册一个隔离的 model-jury-codex 路由。
GLM 与 DeepSeek¶
这两个提供商需要用户手动配置凭证和模型 ID。需要在 cordis.patch.yml 中覆盖 model-jury 配置项:
- id: model-jury
config:
storageDir: .dsh-model-jury
maxQuestionChars: 12000
maxFieldChars: 6000
codex:
provider: model-jury-codex
timeoutMs: 180000
maxRetries: 1
glm:
provider: glm
model: '<your GLM model id>'
timeoutMs: 120000
maxTokens: 16384
maxRetries: 1
deepseek:
provider: deepseek-official
model: '<your DeepSeek model id>'
timeoutMs: 120000
maxTokens: 16384
maxRetries: 1
凭证(如 GLM_API_KEY、DEEPSEEK_API_KEY)应通过 DSH 设置或启动环境注入,绝不应包含在插件包或补丁文件中。
使用示例¶
诊断环境¶
使用 /jury doctor 命令对当前环境中的所有座位进行一次最小化的真实请求测试,以消耗配额并检查状态:
/jury doctor
常规评审¶
发起评审并回答一个具体问题:
/jury Should this inference runtime prioritize iOS support or ARM SIMD optimization?
冲突模式¶
使用 --style adversarial 参数加强互评指令,强制模型寻找对立观点:
/jury --style adversarial Should this inference runtime prioritize iOS support or ARM SIMD optimization?
默认风格为 balanced。
工作流程¶
评审过程分为三轮:
- Round 1(盲审):所有模型接收相同的问题、指令和 JSON Schema,并发回答。系统通过随机映射将回答分配给 P1、P2、P3 位置,但模型自身不知道位置归属。
- Round 2(互评):模型接收自己的第一轮回答以及匿名的同行回答。系统会清洗掉提供者、模型名称等身份信息,模型只看到匿名内容,需点评对方的强弱点、缺失证据及实际分歧。
- Round 3(修订):模型根据互评结果决定修订、合并、保持异见或维持原状。
最后,确定性聚合器根据三方的最终状态(P1、P2、P3、hybrid、undecided)计算投票状态,生成裁决报告。
适用场景与限制¶
适用场景:需要多模型交叉验证技术方案、检查代码逻辑漏洞、或评估不同决策路径的场景。
已知限制:
* 凭证管理:GLM 和 DeepSeek 需要用户自行在配置中提供凭证和模型 ID。
* 沙箱限制:Codex 提供商无法通过插件配置强制执行严格的只读沙箱(这是已记录的公开限制)。
* 无文件/网络操作:评审过程仅为 deliberation( deliberation-only),不包含文件编辑、依赖安装、提交或网络变异操作。
* DSH 开发者预览:DeepSeek Harness 处于开发者预览阶段,可能引入破坏性变更。
* 投票共识限制:源文档中关于投票共识的具体限制文本已被截断,建议查阅源码。
总结¶
dsh-model-jury 为 DeepSeek Harness 提供了一个去中心化的模型评审协议。它通过代码而非人工担任法官,确保了裁决的确定性。对于需要客观、多视角技术评估的开发者,这是一个实用的工具。