前言¶

训练一个大模型，最难的往往不是跑通第一个 epoch，而是后面一连串的选择：用几块卡、日志记在哪里、学习率怎么衰减、混合精度报 NaN 了怎么办、辅助损失要加几个、checkpoint 什么时候存、从上次断点接着训和从预训练权重热启动到底差在哪。这些选择没有标准答案，但如果你在维护一个具体的仓库，答案是有的。

下面介绍的 Skill 「算法训练通用」就是一套针对特定仓库的答案。

这是什么¶

这是一个面向 amt_ai 仓库（YourMT3 全区旋律转谱）的通用大模型训练经验 Skill。

出品方为社区开发者 user_db1d96f9，版本 1.0.0，分类属于 dev-programming，来源标注为 community。它把训练流程里常见的决策点整理成了一份可以直接查阅的操作经验，定位是：当你在讨论这个仓库的训练脚本时，给你一份「我以前就是这么做的」参照。

它不生成代码，也不替换官方文档，而是把散在训练脚本、配置和实验记录里的经验收敛成一套可执行的做法。

核心功能¶

已核实的能力覆盖训练流程的六个环节。

分布式训练。 基于 PyTorch Lightning，配合 DDP 做多卡训练，负责把多卡启动、进程通信和设备分配这类问题按仓库实际情况处理。

实验追踪。 接入 W&B（Weights & Biases）记录训练过程，日志字段、指标上传与 run 管理按该仓库的既有约定配置。

优化器与调度。 使用 AdamW / AdamWScale 作为优化器，学习率调度支持 cosine 与 constant 两种方式，用于按阶段控制学习率下降节奏。

混合精度与稳定性。 支持 bf16-mixed 与 16-mixed 两种混合精度模式，并针对混合精度下常见的 NaN 问题给出防护手段，包括出现 NaN 时的排查与处置路径。

损失函数。 以交叉熵（CE）作为主损失，额外加入八度（octave）、chroma、boundary 三类辅助损失，用来在旋律转谱任务上补充不同粒度的监督信号。

训练管理。 包括 checkpoint 的保存时机与监控方式、数据增强的使用与按 preset 排除数据的设置、动态调整数据集采样权重，以及基于 RL 的 token-acc 增益实验。

安装与启用¶

官方地址：

https://api.skillhub.cn/user_db1d96f9/music-algo-train

SkillHub 页面：

https://www.skillhub.cn/skills/user_db1d96f9/music-algo-train

坐标：

@user_db1d96f9/music-algo-train

该 Skill 基于通用 SKILL.md 格式。安装命令、目录位置与各编辑器（Cursor / Codex CLI / Claude Code）的启用方式，抓取资料中未给出具体说明，此处不臆测，请以官方页面为准。

典型用法¶

这个 Skill 的价值体现在具体的讨论场景里。根据官方简介，它在以下话题上会被触发：

• 你在讨论 amt / amt_ai / YourMT3 的训练脚本，需要确认某段训练逻辑的既有写法；
• 你在配置 wandb，需要确认日志与 run 的既有约定；
• 你在设置训练 batch size、学习率或损失函数，需要在 AdamW/AdamWScale、cosine/constant 调度、CE 主损失加三类辅助损失之间做选择；
• 你遇到混合精度下的 NaN，需要 bf16-mixed / 16-mixed 的防护与排查思路；
• 你在调度 checkpoint，需要保存时机与监控的既有做法；
• 你在跑 phase1 / scratch / warm-start 实验，需要区分 warm-start（从预训练权重热启动）与 resume（从中断点恢复训练）的适用条件；
• 你在做数据增强、按 preset 排除数据或调整采样权重；
• 你在做 RL token-acc 增益相关实验；
• 你直接问「我以前训练 xxx 是怎么做的」。

把上述任一话题交给它，它会按仓库既有经验给出对应的训练配置与操作步骤，而不是泛泛的训练建议。

适用场景与注意¶

适合正在维护或复现 amt_ai（YourMT3 全区旋律转谱）训练流程、需要在这套具体经验上做决策的开发者。它的价值在于把一个具体仓库的训练约定固化下来，省去重新摸索的时间。

需要注意三点。

第一，它的经验范围限定在 amt_ai 仓库。换到其他仓库或任务，分布式、损失函数与调度策略都未必适用，不要直接搬用。

第二，它属于社区发布（community）的 Skill，权威性取决于维护者对仓库的熟悉程度。关键配置仍应以仓库内的训练脚本与配置为准。

第三，标签显示 requires_api_key=false，说明使用它本身不需要额外的 API Key；但如果要在 W&B 上记录日志，你仍需自己的 W&B 账号与授权。

结尾¶

这套 Skill 的价值不在于发明新的训练方法，而在于把一个具体仓库里已经验证过的做法整理清楚，让你在讨论训练脚本时能直接对照，而不是凭印象重来一遍。

官方地址：https://api.skillhub.cn/user_db1d96f9/music-algo-train