前言¶
DeepSeek Harness 的 Creator 模式允许在会话中创建、运行和热更新 Cordis Package,但原始流程缺少四个关键步骤:修改前的能力没有被冻结成可重放基线;修改后通常靠一次人工体验判断好坏;失败的版本、成功版本和评测证据没有形成长期谱系;“新代码运行成功”与“新代码确实更好”没有被分开。
dsh-evolution-console 旨在在 Creator 与 Runtime 之间加入一个确定性的发布门禁。它将修改前后接成一个执行闭环,通过固化不可变候选、隔离评测和代码门禁,让智能体的迭代有据可依。
核心功能¶
该插件主要提供以下能力:
- 固化不可变候选:将修改后的 Cordis Package 固化为不可变的版本节点。
- 基线/候选对照评测:在隔离的 Headless DSH 中运行基线与候选,使用同一份评测集。
- 代码门禁:通过确定性规则判定候选是否通过,防止模型自我评分。
- 自动晋升:通过门禁后自动热晋升,未开启自动晋升时标记为
eligible。 - 版本谱系:记录所有候选、评测报告和历史,支持一键回滚。
- Agent 工具:提供
evolution_*系列工具,允许 Agent 在会话中直接执行闭环操作。
安装¶
插件必须同时安装到 web 和 headless Profile。Web Profile 提供控制器和可视化界面;评测子进程需要 Headless Profile 能解析 Evaluator 导出。
从 GitHub 安装¶
dsh plugin --profile web add github:yu-xin-c/dsh-evolution-console
dsh plugin --profile headless add github:yu-xin-c/dsh-evolution-console
安装后重启 DSH Web:
dsh web
打开一个已有工作区的会话,顶部会出现 Evolution / 进化 标签。
从本地源码安装¶
git clone https://github.com/yu-xin-c/dsh-evolution-console.git
cd dsh-evolution-console
pnpm install
pnpm check
dsh plugin --profile web add "$PWD"
dsh plugin --profile headless add "$PWD"
典型用法¶
1. 在 Creator 模式生成候选¶
在会话中使用 cordis_define 创建 Package,并用 cordis_run 验证其能挂载。这是 Host half 的基础。
2. 固化版本¶
进入会话的 进化 标签:
- 在“运行时包”中选择目标 Package。
- 点击“固化”。
- 插件会保存 Package 的源码、父版本和 SHA-256 身份。如果是从已运行 Package 更新而来,插件会先固化当前版本为初始 Champion,再记录新版本为子节点。
3. 运行前后对照¶
选择 Candidate 与 Benchmark,点击“开始评测”。Champion 与 Candidate 会分别在新的 Headless DSH 进程中运行,使用相同的评测集和 Profile。
4. 查看证据或回滚¶
界面会展示版本谱系、每次评测的基线分与候选分、通过率以及门禁判定原因。如果需要回滚,可使用界面操作或 evolution_rollback 工具恢复上一 Champion。
注意事项¶
- 版本限制:v0.1 不评测或自动部署 Client half。
- 进程开销:每次 Attempt 都会启动一个新的 DSH 进程,可靠但不追求极限吞吐。
- 门禁规则:门禁目前是确定性规则,不包含显著性检验、成本 Pareto 前沿或人工盲评。
- 非静态审计:Runtime 评测不是源码静态安全审计,准备公开运行第三方 Candidate 前,仍应审查代码。
- 数据位置:数据默认保存在项目目录下的
.dsh/evolution-console/,换会话后仍能看到同一工作区的进化历史。
总结¶
dsh-evolution-console 是一个为 DeepSeek Harness Creator 模式设计的自进化闭环工具。它不提供通用的“自进化”仪表盘,而是通过固化、隔离评测和确定性门禁,把修改前后真正接起来的执行闭环。适合需要客观版本控制、严格回归测试和可追溯迭代流程的开发者。