前言¶
DeepSeek Harness (DSH) 采用插件化架构,社区开发者可以通过插件扩展能力。在模型训练与科研场景中,超参数调参往往面临搜索空间大、实验记录混乱、难以撰写论文表格等问题。
quick-research-campaign 是一个针对科研流水线的 DSH 插件。它不直接执行实验训练,而是专注于规划搜索空间、记录实验状态、对比基线与 SOTA,并生成可直接用于论文的材料。插件将超参数搜索转化为有界、去混杂的试验矩阵,并自动计算边际效应与混杂情况。
插件信息¶
- 名称:quick-research-campaign
- 维护者:wswbx
- 许可证:MIT
- 定位:科研流水线、超参数调参、实验归档
安装与配置¶
安装插件需要通过 DSH 的插件管理命令执行。安装后需重启对应的 profile 才能生效。
安装¶
dsh plugin --profile web add quick-research-campaign
如果需要在本地开发或未发布环境下安装,可以使用本地文件路径:
dsh plugin --profile web add "file:C:/path/to/quick-research-campaign"
卸载¶
dsh plugin --profile web remove quick-research-campaign
配置¶
插件通过 cordis.patch.yml 注入配置,用户也可以覆盖整段 config。
- id: tool-research-campaign
config:
maxTrialsPerCampaign: 64
| 字段 | 默认值 | 含义 |
|---|---|---|
maxTrialsPerCampaign |
包内默认 24 | 一次 campaign 可计划的 trial 上限;超过上限的调用会被拒绝 |
核心功能¶
插件提供三个工具和一个技能。
1. research_sweep_plan:搜索空间规划¶
将搜索空间展开为有界、去混杂的试验矩阵。
- 网格枚举与采样:预算足够时枚举完整笛卡尔积;预算不足时使用均匀采样,避免固定步长截断导致的参数共振(即相邻维度系统性相关)。
- 排查缺失与混杂:报告哪些参数取值一次都没被测到,以及哪些参数对被混杂(取值一一对应,贡献无法分离)。
参数定义示例:
space: {
lr: {min:1e-5, max:1e-3, steps:4, log:true},
window: [4096, 8192, 32768],
gate_type: ["sigmoid","silu","none"]
}
2. research_sweep_record:实验记账¶
记录 trial 的状态及指标。
- 状态记录:记录
ok(成功)、failed(失败)、pruned(被剪枝)的状态。 - 全量记录:失败的、被剪枝的也必须记录,否则无法判断搜索空间边界。
- 数据校验:状态为
ok但没有任何指标的运行会被拒绝。
3. research_sweep_report:结果报告与归因¶
按指标排名,生成对比报告。
- 对比分析:对比基线与 SOTA,计算相对差距。
- 边际效应:计算每个参数的边际效应,识别论文主角组件。
- 混杂检查:检查参数间的混杂情况。
- 材料清单:生成论文材料清单,未勾选项即为实验章节的欠缺内容。
报告输出示例:
| # | trial | acc_32k | vs baseline | vs SOTA | gate_type | lr | window |
| 1 | t0011 | 72.7 | +4.6 WIN | +1.5 WIN | silu | 0.001 | 32768 |
- best over sota target: +1.5 (target beaten)
### gate_type
| value | mean acc_32k | trials |
| silu | 71.625 | 4 |
| sigmoid | 70.7333 | 3 |
| none | 68.9 | 3 |
4. 技能 research-campaign:流水线手册¶
包含八阶段流水线手册的技能。
- 单组件单开关:核心设计原则,默认组件开关关闭,通过逐个开启来验证效果。
- 渐进式验证:默认先跑通单个 trial,再进行大规模并发,避免管线未通时浪费算力。
使用限制与注意事项¶
- 进程状态账本:账本是进程状态,按调用方会话索引,进程结束即消失。若需跨天搜索,需手动将记录写入
research/runs.jsonl以便重建账本。 - 不执行实验:插件不负责运行训练任务,只负责规划、记账和排名。因此,账本可以记录从未发生过的 trial。
- 报告真实性:报告检查完整性(是否包含论文材料),不检查真实性(无法发现指标记错来源)。
- 不做调度:插件的工具不负责排队、重试、抢占等调度逻辑,这些属于 DSH 的
job/schedule能力。 - 环境要求:需要 Node.js 版本
^22.19.0 || >=24.0.0。 - 无界面交互:插件无界面、不发 HTTP 请求、不执行实验任务。
总结¶
quick-research-campaign 是一个专注于科研流程的工具集,它解决了调参过程中的混乱与不确定性问题,通过自动化的矩阵规划与归因分析,帮助开发者快速产出论文级的数据表格。
- GitHub 仓库:https://github.com/wswbx/quick-research-campaign
- 技能目录:https://www.skillhub.cn/plugins/wswbx/quick-research-campaign