Optimizer
1 | tf.train.GradientDescentOptimizer |
1 | tf.train.AdadeltaOptimizer |
1 | tf.train.AdagradOptimizer |
1 | tf.train.AdagradDAOptimizer |
1 | tf.train.MomentumOptimizer |
1 | tf.train.AdamOptimizer |
1 | tf.train.FtrlOptimizer |
1 | tf.train.ProximalGradientDescentOptimizer |
1 | tf.train.ProximalAdagradOptimizer |
1 | tf.train.RMSPropOptimizer |
SGD
Momentum
当前权值的改变会受到上一次权值改变的影响，类似于小球向下滚动的时候带上了惯性。这样可以加快小球的向下的速度。
NAG（Nesterov accelerated gradient）
NAG在TF中跟Momentum合并在同一个函数tf.train.MomentumOptimizer中，可以通过参数配置启用。在Momentum中小球会盲目地跟从下坡的梯度，容易发生错误，所以我们需要一个更聪明的小球，这个小球提计算$W-\gamma v_{t-1}$可以表示小球下一个位置大概在哪里。从而我们可以提前计算下一个位置的梯度，然后使用到当前位置。
Adagrad
它是基于SGD的一种算法，它的核心思想是对比较常见的数据给予它比较小的学习率去调整参数，对于比较罕见的数据给予它比较大的学习率去调整参数。它很适合应用于数据稀疏的数据集（比如一个图片数据集，有10000张狗的昭片，10000张猫的照片，只有100张大象的昭片）。
Adagrad主要的优势在于不需要人为的调节学习率，它可以自动调节。它的缺点在于，随着迭代次数的增多，学习率也会越来越低，最终会趋向于0。
RMSprop
RMS（Root Mean Square）是均方根的缩写。
RMSprop借鉴了一些Adagrad的思想，不过这里RMSprop只用到了前$t-1$次梯度平方的平均值加上当前梯度的平方的和的开平方作为学习率的分母。这样RMSprop不会出现学习率越来越低的问题，而且也能自己调节学习率，并且可以有一个比较好的效果。
Adadelta
使用Adadelta我们甚至不需要设置一个默认学习率，在Adadelta不需要使用学习率也可以达到一个非常好的效果。
Adam
就像Adadelta和RMSprop一样Adam会存储之前衰减的平方梯度，同时它也会保存之前衰减的梯度。经过一些处理之后再使用类似Adadelta和RMSprop的方式更新参数。
各种优化器对比
标准梯度下降法
标准梯度下降先计算所有样本汇总误差，然后根据总误差来更新权值。
缺点：大样本时每次更新取值都要很长时间。
随机梯度下降法
随机梯度下降随机抽取一个样本来计算误差，然后更新权值。
缺点：取值更新快，但是不一定都是往正确的方向更新，会产生比较多的噪点。
批量梯度下降法（常用）
批量梯度下降算是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。