quick-research-campaign:DeepSeek Harness 科研流水线

前言

DeepSeek Harness (DSH) 采用插件化架构,社区开发者可以通过插件扩展能力。在模型训练与科研场景中,超参数调参往往面临搜索空间大、实验记录混乱、难以撰写论文表格等问题。

quick-research-campaign 是一个针对科研流水线的 DSH 插件。它不直接执行实验训练,而是专注于规划搜索空间、记录实验状态、对比基线与 SOTA,并生成可直接用于论文的材料。插件将超参数搜索转化为有界、去混杂的试验矩阵,并自动计算边际效应与混杂情况。

插件信息

  • 名称:quick-research-campaign
  • 维护者:wswbx
  • 许可证:MIT
  • 定位:科研流水线、超参数调参、实验归档

安装与配置

安装插件需要通过 DSH 的插件管理命令执行。安装后需重启对应的 profile 才能生效。

安装

dsh plugin --profile web add quick-research-campaign

如果需要在本地开发或未发布环境下安装,可以使用本地文件路径:

dsh plugin --profile web add "file:C:/path/to/quick-research-campaign"

卸载

dsh plugin --profile web remove quick-research-campaign

配置

插件通过 cordis.patch.yml 注入配置,用户也可以覆盖整段 config。

- id: tool-research-campaign
  config:
    maxTrialsPerCampaign: 64
字段 默认值 含义
maxTrialsPerCampaign 包内默认 24 一次 campaign 可计划的 trial 上限;超过上限的调用会被拒绝

核心功能

插件提供三个工具和一个技能。

1. research_sweep_plan:搜索空间规划

将搜索空间展开为有界、去混杂的试验矩阵。

  • 网格枚举与采样:预算足够时枚举完整笛卡尔积;预算不足时使用均匀采样,避免固定步长截断导致的参数共振(即相邻维度系统性相关)。
  • 排查缺失与混杂:报告哪些参数取值一次都没被测到,以及哪些参数对被混杂(取值一一对应,贡献无法分离)。

参数定义示例:

space: { 
  lr: {min:1e-5, max:1e-3, steps:4, log:true}, 
  window: [4096, 8192, 32768], 
  gate_type: ["sigmoid","silu","none"] 
}

2. research_sweep_record:实验记账

记录 trial 的状态及指标。

  • 状态记录:记录 ok(成功)、failed(失败)、pruned(被剪枝)的状态。
  • 全量记录:失败的、被剪枝的也必须记录,否则无法判断搜索空间边界。
  • 数据校验:状态为 ok 但没有任何指标的运行会被拒绝。

3. research_sweep_report:结果报告与归因

按指标排名,生成对比报告。

  • 对比分析:对比基线与 SOTA,计算相对差距。
  • 边际效应:计算每个参数的边际效应,识别论文主角组件。
  • 混杂检查:检查参数间的混杂情况。
  • 材料清单:生成论文材料清单,未勾选项即为实验章节的欠缺内容。

报告输出示例:

| # | trial | acc_32k | vs baseline | vs SOTA | gate_type | lr | window |
| 1 | t0011 | 72.7 | +4.6 WIN | +1.5 WIN | silu | 0.001 | 32768 |

- best over sota target: +1.5 (target beaten)

### gate_type
| value | mean acc_32k | trials |
| silu    | 71.625 | 4 |
| sigmoid | 70.7333 | 3 |
| none    | 68.9 | 3 |

4. 技能 research-campaign:流水线手册

包含八阶段流水线手册的技能。

  • 单组件单开关:核心设计原则,默认组件开关关闭,通过逐个开启来验证效果。
  • 渐进式验证:默认先跑通单个 trial,再进行大规模并发,避免管线未通时浪费算力。

使用限制与注意事项

  • 进程状态账本:账本是进程状态,按调用方会话索引,进程结束即消失。若需跨天搜索,需手动将记录写入 research/runs.jsonl 以便重建账本。
  • 不执行实验:插件不负责运行训练任务,只负责规划、记账和排名。因此,账本可以记录从未发生过的 trial。
  • 报告真实性:报告检查完整性(是否包含论文材料),不检查真实性(无法发现指标记错来源)。
  • 不做调度:插件的工具不负责排队、重试、抢占等调度逻辑,这些属于 DSH 的 job / schedule 能力。
  • 环境要求:需要 Node.js 版本 ^22.19.0 || >=24.0.0。
  • 无界面交互:插件无界面、不发 HTTP 请求、不执行实验任务。

总结

quick-research-campaign 是一个专注于科研流程的工具集,它解决了调参过程中的混乱与不确定性问题,通过自动化的矩阵规划与归因分析,帮助开发者快速产出论文级的数据表格。

  • GitHub 仓库:https://github.com/wswbx/quick-research-campaign
  • 技能目录:https://www.skillhub.cn/plugins/wswbx/quick-research-campaign
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜