DeepSeek Harness 进化控制台插件

前言

DeepSeek Harness 的 Creator 模式允许在会话中创建、运行和热更新 Cordis Package,但原始流程缺少四个关键步骤:修改前的能力没有被冻结成可重放基线;修改后通常靠一次人工体验判断好坏;失败的版本、成功版本和评测证据没有形成长期谱系;“新代码运行成功”与“新代码确实更好”没有被分开。

dsh-evolution-console 旨在在 Creator 与 Runtime 之间加入一个确定性的发布门禁。它将修改前后接成一个执行闭环,通过固化不可变候选、隔离评测和代码门禁,让智能体的迭代有据可依。

核心功能

该插件主要提供以下能力:

  • 固化不可变候选:将修改后的 Cordis Package 固化为不可变的版本节点。
  • 基线/候选对照评测:在隔离的 Headless DSH 中运行基线与候选,使用同一份评测集。
  • 代码门禁:通过确定性规则判定候选是否通过,防止模型自我评分。
  • 自动晋升:通过门禁后自动热晋升,未开启自动晋升时标记为 eligible。
  • 版本谱系:记录所有候选、评测报告和历史,支持一键回滚。
  • Agent 工具:提供 evolution_* 系列工具,允许 Agent 在会话中直接执行闭环操作。

安装

插件必须同时安装到 web 和 headless Profile。Web Profile 提供控制器和可视化界面;评测子进程需要 Headless Profile 能解析 Evaluator 导出。

从 GitHub 安装

dsh plugin --profile web add github:yu-xin-c/dsh-evolution-console
dsh plugin --profile headless add github:yu-xin-c/dsh-evolution-console

安装后重启 DSH Web:

dsh web

打开一个已有工作区的会话,顶部会出现 Evolution / 进化 标签。

从本地源码安装

git clone https://github.com/yu-xin-c/dsh-evolution-console.git
cd dsh-evolution-console
pnpm install
pnpm check
dsh plugin --profile web add "$PWD"
dsh plugin --profile headless add "$PWD"

典型用法

1. 在 Creator 模式生成候选

在会话中使用 cordis_define 创建 Package,并用 cordis_run 验证其能挂载。这是 Host half 的基础。

2. 固化版本

进入会话的 进化 标签:

  1. 在“运行时包”中选择目标 Package。
  2. 点击“固化”。
  3. 插件会保存 Package 的源码、父版本和 SHA-256 身份。如果是从已运行 Package 更新而来,插件会先固化当前版本为初始 Champion,再记录新版本为子节点。

3. 运行前后对照

选择 Candidate 与 Benchmark,点击“开始评测”。Champion 与 Candidate 会分别在新的 Headless DSH 进程中运行,使用相同的评测集和 Profile。

4. 查看证据或回滚

界面会展示版本谱系、每次评测的基线分与候选分、通过率以及门禁判定原因。如果需要回滚,可使用界面操作或 evolution_rollback 工具恢复上一 Champion。

注意事项

  • 版本限制:v0.1 不评测或自动部署 Client half。
  • 进程开销:每次 Attempt 都会启动一个新的 DSH 进程,可靠但不追求极限吞吐。
  • 门禁规则:门禁目前是确定性规则,不包含显著性检验、成本 Pareto 前沿或人工盲评。
  • 非静态审计:Runtime 评测不是源码静态安全审计,准备公开运行第三方 Candidate 前,仍应审查代码。
  • 数据位置:数据默认保存在项目目录下的 .dsh/evolution-console/,换会话后仍能看到同一工作区的进化历史。

总结

dsh-evolution-console 是一个为 DeepSeek Harness Creator 模式设计的自进化闭环工具。它不提供通用的“自进化”仪表盘,而是通过固化、隔离评测和确定性门禁,把修改前后真正接起来的执行闭环。适合需要客观版本控制、严格回归测试和可追溯迭代流程的开发者。

GitHub 仓库

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜