dsh-model-jury:DeepSeek Harness 的結構化跨模型同行評審

在 DeepSeek Harness 的插件化生態中,多模型協作常面臨輸出不一致、缺乏客觀評審或依賴單一模型判斷的困境。dsh-model-jury 插件旨在提供一套結構化的跨模型同行評審機制,通過盲審、匿名互評和確定性裁決,讓模型羣體自行達成共識或識別分歧。

核心功能

該插件實現了以下工作流與能力:

  • 結構化跨模型同行評審:定義了從提問到裁決的完整狀態機。
  • 盲審獨立回答:第一輪中,所有模型接收相同指令,互不看見對方回答。
  • 匿名同行互評:第二輪中,模型對匿名的同行回答進行點評,不暴露身份。
  • 修訂環節:模型有機會在第三輪根據互評結果修改自己的答案。
  • 確定性裁決:代碼邏輯計算投票結果(多數、異見、風險)並生成最終報告。
  • 提供商中立:基於公開服務,不實現私有 HTTP 客戶端或代理。
  • 無永久主席:裁決由代碼邏輯執行,不依賴特定模型作爲主席。

安裝與啓用

使用官方安裝命令將插件添加到 DSH Web 配置文件中:

dsh plugin --profile web add dsh-model-jury

安裝完成後,檢查配置是否生效,然後啓動 Web 界面:

dsh --profile web --dump-config
dsh web

配置與模型設置

Model Jury 使用 DSH 提供的提供商中立服務。不同模型的配置方式不同。

GPT (Codex)

GPT 座位使用 DSH 的原生 Codex 應用服務器提供者,利用用戶原生的 ChatGPT/Codex 訂閱認證。不需要 OPENAI_API_KEY。插件會註冊一個隔離的 model-jury-codex 路由。

GLM 與 DeepSeek

這兩個提供商需要用戶手動配置憑證和模型 ID。需要在 cordis.patch.yml 中覆蓋 model-jury 配置項:

- id: model-jury
  config:
    storageDir: .dsh-model-jury
    maxQuestionChars: 12000
    maxFieldChars: 6000
    codex:
      provider: model-jury-codex
      timeoutMs: 180000
      maxRetries: 1
    glm:
      provider: glm
      model: '<your GLM model id>'
      timeoutMs: 120000
      maxTokens: 16384
      maxRetries: 1
    deepseek:
      provider: deepseek-official
      model: '<your DeepSeek model id>'
      timeoutMs: 120000
      maxTokens: 16384
      maxRetries: 1

憑證(如 GLM_API_KEY、DEEPSEEK_API_KEY)應通過 DSH 設置或啓動環境注入,絕不應包含在插件包或補丁文件中。

使用示例

診斷環境

使用 /jury doctor 命令對當前環境中的所有座位進行一次最小化的真實請求測試,以消耗配額並檢查狀態:

/jury doctor

常規評審

發起評審並回答一個具體問題:

/jury Should this inference runtime prioritize iOS support or ARM SIMD optimization?

衝突模式

使用 --style adversarial 參數加強互評指令,強制模型尋找對立觀點:

/jury --style adversarial Should this inference runtime prioritize iOS support or ARM SIMD optimization?

默認風格爲 balanced。

工作流程

評審過程分爲三輪:

  1. Round 1(盲審):所有模型接收相同的問題、指令和 JSON Schema,併發回答。系統通過隨機映射將回答分配給 P1、P2、P3 位置,但模型自身不知道位置歸屬。
  2. Round 2(互評):模型接收自己的第一輪迴答以及匿名的同行回答。系統會清洗掉提供者、模型名稱等身份信息,模型只看到匿名內容,需點評對方的強弱點、缺失證據及實際分歧。
  3. Round 3(修訂):模型根據互評結果決定修訂、合併、保持異見或維持原狀。

最後,確定性聚合器根據三方的最終狀態(P1、P2、P3、hybrid、undecided)計算投票狀態,生成裁決報告。

適用場景與限制

適用場景:需要多模型交叉驗證技術方案、檢查代碼邏輯漏洞、或評估不同決策路徑的場景。

已知限制:
* 憑證管理:GLM 和 DeepSeek 需要用戶自行在配置中提供憑證和模型 ID。
* 沙箱限制:Codex 提供商無法通過插件配置強制執行嚴格的只讀沙箱(這是已記錄的公開限制)。
* 無文件/網絡操作:評審過程僅爲 deliberation( deliberation-only),不包含文件編輯、依賴安裝、提交或網絡變異操作。
* DSH 開發者預覽:DeepSeek Harness 處於開發者預覽階段,可能引入破壞性變更。
* 投票共識限制:源文檔中關於投票共識的具體限制文本已被截斷,建議查閱源碼。

總結

dsh-model-jury 爲 DeepSeek Harness 提供了一個去中心化的模型評審協議。它通過代碼而非人工擔任法官,確保了裁決的確定性。對於需要客觀、多視角技術評估的開發者,這是一個實用的工具。

插件詳情與源碼請訪問:GitHub 倉庫 | 社區目錄

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜