深度学习超参数

学习率

增大学习率。因为更大的Batch Size意味着每个Batch数据计算得到的梯度更加贴近整个数据集，从数学上来说就是方差更小，因此当更新方向更加准确之后，迈的步子也可以更大，一般来说Batch Size变成原始几倍，学习率就增加几倍。
在优化学习速率时，分别尝试学习速率：0.1、0.2，…，0.5是好办法吗？
这种方法并不好，建议使用对数比例来优化学习速率。