dsh-model-jury:DeepSeek Harness 的结构化跨模型同行评审

在 DeepSeek Harness 的插件化生态中,多模型协作常面临输出不一致、缺乏客观评审或依赖单一模型判断的困境。dsh-model-jury 插件旨在提供一套结构化的跨模型同行评审机制,通过盲审、匿名互评和确定性裁决,让模型群体自行达成共识或识别分歧。

核心功能

该插件实现了以下工作流与能力:

  • 结构化跨模型同行评审:定义了从提问到裁决的完整状态机。
  • 盲审独立回答:第一轮中,所有模型接收相同指令,互不看见对方回答。
  • 匿名同行互评:第二轮中,模型对匿名的同行回答进行点评,不暴露身份。
  • 修订环节:模型有机会在第三轮根据互评结果修改自己的答案。
  • 确定性裁决:代码逻辑计算投票结果(多数、异见、风险)并生成最终报告。
  • 提供商中立:基于公开服务,不实现私有 HTTP 客户端或代理。
  • 无永久主席:裁决由代码逻辑执行,不依赖特定模型作为主席。

安装与启用

使用官方安装命令将插件添加到 DSH Web 配置文件中:

dsh plugin --profile web add dsh-model-jury

安装完成后,检查配置是否生效,然后启动 Web 界面:

dsh --profile web --dump-config
dsh web

配置与模型设置

Model Jury 使用 DSH 提供的提供商中立服务。不同模型的配置方式不同。

GPT (Codex)

GPT 座位使用 DSH 的原生 Codex 应用服务器提供者,利用用户原生的 ChatGPT/Codex 订阅认证。不需要 OPENAI_API_KEY。插件会注册一个隔离的 model-jury-codex 路由。

GLM 与 DeepSeek

这两个提供商需要用户手动配置凭证和模型 ID。需要在 cordis.patch.yml 中覆盖 model-jury 配置项:

- id: model-jury
  config:
    storageDir: .dsh-model-jury
    maxQuestionChars: 12000
    maxFieldChars: 6000
    codex:
      provider: model-jury-codex
      timeoutMs: 180000
      maxRetries: 1
    glm:
      provider: glm
      model: '<your GLM model id>'
      timeoutMs: 120000
      maxTokens: 16384
      maxRetries: 1
    deepseek:
      provider: deepseek-official
      model: '<your DeepSeek model id>'
      timeoutMs: 120000
      maxTokens: 16384
      maxRetries: 1

凭证(如 GLM_API_KEY、DEEPSEEK_API_KEY)应通过 DSH 设置或启动环境注入,绝不应包含在插件包或补丁文件中。

使用示例

诊断环境

使用 /jury doctor 命令对当前环境中的所有座位进行一次最小化的真实请求测试,以消耗配额并检查状态:

/jury doctor

常规评审

发起评审并回答一个具体问题:

/jury Should this inference runtime prioritize iOS support or ARM SIMD optimization?

冲突模式

使用 --style adversarial 参数加强互评指令,强制模型寻找对立观点:

/jury --style adversarial Should this inference runtime prioritize iOS support or ARM SIMD optimization?

默认风格为 balanced。

工作流程

评审过程分为三轮:

  1. Round 1(盲审):所有模型接收相同的问题、指令和 JSON Schema,并发回答。系统通过随机映射将回答分配给 P1、P2、P3 位置,但模型自身不知道位置归属。
  2. Round 2(互评):模型接收自己的第一轮回答以及匿名的同行回答。系统会清洗掉提供者、模型名称等身份信息,模型只看到匿名内容,需点评对方的强弱点、缺失证据及实际分歧。
  3. Round 3(修订):模型根据互评结果决定修订、合并、保持异见或维持原状。

最后,确定性聚合器根据三方的最终状态(P1、P2、P3、hybrid、undecided)计算投票状态,生成裁决报告。

适用场景与限制

适用场景:需要多模型交叉验证技术方案、检查代码逻辑漏洞、或评估不同决策路径的场景。

已知限制:
* 凭证管理:GLM 和 DeepSeek 需要用户自行在配置中提供凭证和模型 ID。
* 沙箱限制:Codex 提供商无法通过插件配置强制执行严格的只读沙箱(这是已记录的公开限制)。
* 无文件/网络操作:评审过程仅为 deliberation( deliberation-only),不包含文件编辑、依赖安装、提交或网络变异操作。
* DSH 开发者预览:DeepSeek Harness 处于开发者预览阶段,可能引入破坏性变更。
* 投票共识限制:源文档中关于投票共识的具体限制文本已被截断,建议查阅源码。

总结

dsh-model-jury 为 DeepSeek Harness 提供了一个去中心化的模型评审协议。它通过代码而非人工担任法官,确保了裁决的确定性。对于需要客观、多视角技术评估的开发者,这是一个实用的工具。

插件详情与源码请访问:GitHub 仓库 | 社区目录

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜