深度学习超参数

  1. 学习率

学习率

增大学习率。因为更大的Batch Size意味着每个Batch数据计算得到的梯度更加贴近整个数据集,从数学上来说就是方差更小,因此当更新方向更加准确之后,迈的步子也可以更大,一般来说Batch Size变成原始几倍,学习率就增加几倍。
在优化学习速率时,分别尝试学习速率:0.1、0.2,…,0.5是好办法吗?
这种方法并不好,建议使用对数比例来优化学习速率。


请多多指教。

文章标题:深度学习超参数

本文作者:顺强

发布时间:2019-02-21, 23:59:00

原始链接:http://shunqiang.ml/cnn-learning-rate/

版权声明: "署名-非商用-相同方式共享 4.0" 转载请保留原文链接及作者。

目录
×

喜欢就点赞,疼爱就打赏