算法训练通用:amt_ai 大模型训练的经验沉淀

本文介绍社区 Skill「算法训练通用」,由 user_db1d96f9 发布、版本 1.0.0、分类 dev-programming。它沉淀了 amt_ai 仓库(YourMT3 全区旋律转谱)上的通用大模型训练经验,覆盖 PyTorch Lightning + DDP 多卡训练、W&B 日志、AdamW/AdamWScale 优化器与 cosine/constant 调度、warm-start 与 resume 的区别、bf16-mixed/16-mixed 混合精度 NaN 防护、CE 主损失加八度/chroma/boundary 辅助损失、checkpoint 保存与监控、数据增强与按 preset 排除、动态采样权重、RL token-acc 增益。文章给出官方地址、坐标与典型触发场景,并说明适用边界与注意事项。

阅读全文