pytorch优化器与学习率设置详解 - 知乎 model parameters () 返回模型的全部参数，并将它们传入Adam函数构造出一个Adam优化器，并设置 learning rate=0 1。 因此该 Adam 优化器的 param_groups 维护的就是模型 model 的全部参数，并且学习率为0 1，这样在调用optimizer_Adam step ()时，就会对model的全部参数进行更新。
深度学习经典论文分析（八）-ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。 Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在提交到 2015 年 ICLR 论文（Adam: A Method for Stochastic Optimization）中提出的。