前言¶

在 DSH 中比較多個模型或 Agent 時，一個具體的偏差來源是“先知道參賽者是誰”。一旦提前看到模型身份，後續對提示、輸出和最終判斷的評價都可能受到影響。

dsh-blind-arena 針對這個問題提供一個本地插件：同一任務、同一 commit、隔離 worktrees、共享驗證，先盲評，再揭曉。

這是什麼¶

dsh-blind-arena 是由 changer-changer 發佈的 DSH 插件，許可證爲 MIT。

它把 DSH Web 變成一個本地 Agent 競技場：同一任務、同一 commit、隔離 worktrees、共享驗證，參與者身份在 reveal 前不進入公共實驗記錄。

2–4 lane races：每條 lane 有即時進度，包括 tool calls、turns、tokens。
Anonymity contract：公共 wire type ArenaExperiment 不包含 identity field；redactExperiment 在 serve 前移除身份相關字段。
Shared verification：用戶定義 verify 命令對每條 lane 運行，展示 exit code、timeout、duration。
Blind verdict → reveal：先選擇結果，再查看 per-lane diffs 和 final answers。
Offline export：導出 self-contained HTML report、raw JSON、per-lane unified patch，不依賴網絡。
Winner branch：把獲勝 lane 的 worktree 提升爲 arena/<id>/<label>，僅適用於 real lanes。
Zero-cost demo mode：使用 deterministic scripted lanes，包括 focused、verbose、broken、timeout，跑完整 pipeline，不需要 API key。
Cleanup：從 UI 清理 stale worktrees 和實驗狀態。
Full client UI：注入到 DSH Web，覆蓋 create / list / live race / review / reveal。

運行環境需要：

Node ^22.19.0 || >=24.0.0
DSH (DeepSeek Harness) with Web client runtime
@deepseek-ai/dsh-agent
@deepseek-ai/dsh-llm
@deepseek-ai/dsh-session

其中 @deepseek-ai/dsh-agent、@deepseek-ai/dsh-llm、@deepseek-ai/dsh-session 的版本爲 0.1.0-rc.7。

安裝命令：

npm install dsh-blind-arena

安裝後打開 DSH Web，界面中會出現 Arena 插件行。

1、創建實驗：指向本地倉庫，寫任務，添加 verify 命令，選擇 contestants。

2、觀察 race：查看每條 lane 的 live progress feed。

3、盲評後揭曉：先根據行爲、diff、final answer、tokens 與驗證耗時判斷，再執行 reveal。

4、導出報告：得到 self-contained HTML report、raw JSON 和 per-lane unified patch。

5、沒有 credentials 時，先運行 demo mode：它使用 scripted lanes 走完整流程，便於在花費 token 前評估流程。

適合在 DSH Web 中做本地、可重複的 Agent 對比，尤其是希望減少模型身份偏見、保留離線報告、並能在本地控制實驗生命週期的場景。

注意：

~/.dsh/arena/

公共實驗記錄不包含 participant identity；身份保存在 server-side secrets.json，僅在 reveal 後合併到視圖。
一切在本地完成；除瀏覽器自身訪問外，實驗數據不離開本機。