在机器学习的优化算法中，学习率是非常重要的一个超参数，学习率决定了参数空间搜索的步长，但是有一个很明确的问题是，它很难设置。因为过大的学习率会导致优化的方向变换不稳定，而过小的学习率容易使得模型收敛于局部最优解，因此学习率的设置对模型的性能有着显著的影响。
为了解决这种问题，有一种优化方法非常重要，由于参数的值距离最优值较远所以可以使用较大的学习率，而随着参数的优化，越来越逼近最优值，应使用较小的学习率，有三种重要的自适应率学习算法：
1AdaGrad
2RMSProp
3Adam