在 DeepSeek Harness 的插件化生態中,多模型協作常面臨輸出不一致、缺乏客觀評審或依賴單一模型判斷的困境。dsh-model-jury 插件旨在提供一套結構化的跨模型同行評審機制,通過盲審、匿名互評和確定性裁決,讓模型羣體自行達成共識或識別分歧。
核心功能¶
該插件實現了以下工作流與能力:
- 結構化跨模型同行評審:定義了從提問到裁決的完整狀態機。
- 盲審獨立回答:第一輪中,所有模型接收相同指令,互不看見對方回答。
- 匿名同行互評:第二輪中,模型對匿名的同行回答進行點評,不暴露身份。
- 修訂環節:模型有機會在第三輪根據互評結果修改自己的答案。
- 確定性裁決:代碼邏輯計算投票結果(多數、異見、風險)並生成最終報告。
- 提供商中立:基於公開服務,不實現私有 HTTP 客戶端或代理。
- 無永久主席:裁決由代碼邏輯執行,不依賴特定模型作爲主席。
安裝與啓用¶
使用官方安裝命令將插件添加到 DSH Web 配置文件中:
dsh plugin --profile web add dsh-model-jury
安裝完成後,檢查配置是否生效,然後啓動 Web 界面:
dsh --profile web --dump-config
dsh web
配置與模型設置¶
Model Jury 使用 DSH 提供的提供商中立服務。不同模型的配置方式不同。
GPT (Codex)¶
GPT 座位使用 DSH 的原生 Codex 應用服務器提供者,利用用戶原生的 ChatGPT/Codex 訂閱認證。不需要 OPENAI_API_KEY。插件會註冊一個隔離的 model-jury-codex 路由。
GLM 與 DeepSeek¶
這兩個提供商需要用戶手動配置憑證和模型 ID。需要在 cordis.patch.yml 中覆蓋 model-jury 配置項:
- id: model-jury
config:
storageDir: .dsh-model-jury
maxQuestionChars: 12000
maxFieldChars: 6000
codex:
provider: model-jury-codex
timeoutMs: 180000
maxRetries: 1
glm:
provider: glm
model: '<your GLM model id>'
timeoutMs: 120000
maxTokens: 16384
maxRetries: 1
deepseek:
provider: deepseek-official
model: '<your DeepSeek model id>'
timeoutMs: 120000
maxTokens: 16384
maxRetries: 1
憑證(如 GLM_API_KEY、DEEPSEEK_API_KEY)應通過 DSH 設置或啓動環境注入,絕不應包含在插件包或補丁文件中。
使用示例¶
診斷環境¶
使用 /jury doctor 命令對當前環境中的所有座位進行一次最小化的真實請求測試,以消耗配額並檢查狀態:
/jury doctor
常規評審¶
發起評審並回答一個具體問題:
/jury Should this inference runtime prioritize iOS support or ARM SIMD optimization?
衝突模式¶
使用 --style adversarial 參數加強互評指令,強制模型尋找對立觀點:
/jury --style adversarial Should this inference runtime prioritize iOS support or ARM SIMD optimization?
默認風格爲 balanced。
工作流程¶
評審過程分爲三輪:
- Round 1(盲審):所有模型接收相同的問題、指令和 JSON Schema,併發回答。系統通過隨機映射將回答分配給 P1、P2、P3 位置,但模型自身不知道位置歸屬。
- Round 2(互評):模型接收自己的第一輪迴答以及匿名的同行回答。系統會清洗掉提供者、模型名稱等身份信息,模型只看到匿名內容,需點評對方的強弱點、缺失證據及實際分歧。
- Round 3(修訂):模型根據互評結果決定修訂、合併、保持異見或維持原狀。
最後,確定性聚合器根據三方的最終狀態(P1、P2、P3、hybrid、undecided)計算投票狀態,生成裁決報告。
適用場景與限制¶
適用場景:需要多模型交叉驗證技術方案、檢查代碼邏輯漏洞、或評估不同決策路徑的場景。
已知限制:
* 憑證管理:GLM 和 DeepSeek 需要用戶自行在配置中提供憑證和模型 ID。
* 沙箱限制:Codex 提供商無法通過插件配置強制執行嚴格的只讀沙箱(這是已記錄的公開限制)。
* 無文件/網絡操作:評審過程僅爲 deliberation( deliberation-only),不包含文件編輯、依賴安裝、提交或網絡變異操作。
* DSH 開發者預覽:DeepSeek Harness 處於開發者預覽階段,可能引入破壞性變更。
* 投票共識限制:源文檔中關於投票共識的具體限制文本已被截斷,建議查閱源碼。
總結¶
dsh-model-jury 爲 DeepSeek Harness 提供了一個去中心化的模型評審協議。它通過代碼而非人工擔任法官,確保了裁決的確定性。對於需要客觀、多視角技術評估的開發者,這是一個實用的工具。