Pytorch优化器入门：SGD、Adam等优化算法实战

### 优化器：深度学习的“导航系统” 优化器是深度学习中更新模型参数、最小化损失函数的核心工具，类似爬山时的导航系统，帮助模型从“高损失”山顶走向“低损失”山谷。其核心任务是通过调整参数，提升模型在训练数据上的表现。 不同优化器针对不同场景设计：基础SGD（随机梯度下降）简单但收敛慢，需手动调参；SGD+Momentum加入“惯性”，加速收敛；Adam结合动量与自适应学习率，默认参数效果优异，是大多数任务的首选；AdamW在Adam基础上加入权重衰减（L2正则化），有效防止过拟合。 PyTorch的`torch.optim`模块提供多种优化器：SGD适用于简单模型，SGD+Momentum加速波动模型（如RNN），Adam适配多数任务（CNN、Transformer等），AdamW适合小数据或复杂模型。 实战中，对比线性回归任务可见：Adam收敛更快、损失更平稳，参数更接近真实值（如`y=2x+3`）；SGD易震荡。建议初学者优先用Adam，若需控制