前言¶
DeepSeek Harness 的 Creator 模式允許在會話中創建、運行和熱更新 Cordis Package,但原始流程缺少四個關鍵步驟:修改前的能力沒有被凍結成可重放基線;修改後通常靠一次人工體驗判斷好壞;失敗的版本、成功版本和評測證據沒有形成長期譜系;“新代碼運行成功”與“新代碼確實更好”沒有被分開。
dsh-evolution-console 旨在在 Creator 與 Runtime 之間加入一個確定性的發佈門禁。它將修改前後接成一個執行閉環,通過固化不可變候選、隔離評測和代碼門禁,讓智能體的迭代有據可依。
核心功能¶
該插件主要提供以下能力:
- 固化不可變候選:將修改後的 Cordis Package 固化爲不可變的版本節點。
- 基線/候選對照評測:在隔離的 Headless DSH 中運行基線與候選,使用同一份評測集。
- 代碼門禁:通過確定性規則判定候選是否通過,防止模型自我評分。
- 自動晉升:通過門禁後自動熱晉升,未開啓自動晉升時標記爲
eligible。 - 版本譜系:記錄所有候選、評測報告和歷史,支持一鍵回滾。
- Agent 工具:提供
evolution_*系列工具,允許 Agent 在會話中直接執行閉環操作。
安裝¶
插件必須同時安裝到 web 和 headless Profile。Web Profile 提供控制器和可視化界面;評測子進程需要 Headless Profile 能解析 Evaluator 導出。
從 GitHub 安裝¶
dsh plugin --profile web add github:yu-xin-c/dsh-evolution-console
dsh plugin --profile headless add github:yu-xin-c/dsh-evolution-console
安裝後重啓 DSH Web:
dsh web
打開一個已有工作區的會話,頂部會出現 Evolution / 進化 標籤。
從本地源碼安裝¶
git clone https://github.com/yu-xin-c/dsh-evolution-console.git
cd dsh-evolution-console
pnpm install
pnpm check
dsh plugin --profile web add "$PWD"
dsh plugin --profile headless add "$PWD"
典型用法¶
1. 在 Creator 模式生成候選¶
在會話中使用 cordis_define 創建 Package,並用 cordis_run 驗證其能掛載。這是 Host half 的基礎。
2. 固化版本¶
進入會話的 進化 標籤:
- 在“運行時包”中選擇目標 Package。
- 點擊“固化”。
- 插件會保存 Package 的源碼、父版本和 SHA-256 身份。如果是從已運行 Package 更新而來,插件會先固化當前版本爲初始 Champion,再記錄新版本爲子節點。
3. 運行前後對照¶
選擇 Candidate 與 Benchmark,點擊“開始評測”。Champion 與 Candidate 會分別在新的 Headless DSH 進程中運行,使用相同的評測集和 Profile。
4. 查看證據或回滾¶
界面會展示版本譜系、每次評測的基線分與候選分、通過率以及門禁判定原因。如果需要回滾,可使用界面操作或 evolution_rollback 工具恢復上一 Champion。
注意事項¶
- 版本限制:v0.1 不評測或自動部署 Client half。
- 進程開銷:每次 Attempt 都會啓動一個新的 DSH 進程,可靠但不追求極限吞吐。
- 門禁規則:門禁目前是確定性規則,不包含顯著性檢驗、成本 Pareto 前沿或人工盲評。
- 非靜態審計:Runtime 評測不是源碼靜態安全審計,準備公開運行第三方 Candidate 前,仍應審查代碼。
- 數據位置:數據默認保存在項目目錄下的
.dsh/evolution-console/,換會話後仍能看到同一工作區的進化歷史。
總結¶
dsh-evolution-console 是一個爲 DeepSeek Harness Creator 模式設計的自進化閉環工具。它不提供通用的“自進化”儀表盤,而是通過固化、隔離評測和確定性門禁,把修改前後真正接起來的執行閉環。適合需要客觀版本控制、嚴格迴歸測試和可追溯迭代流程的開發者。