Dropout 技术的主要作用是:
i、防止过拟合
Dropout 通过暂时dropout(丢弃)部分神经元,可以有效防止网络过拟合。
降低参数相关性,提高泛化能力。
ii、强化鲁棒性
Dropout 可以强制网络学习更鲁棒的表示,提高模型鲁棒性。
iii、可视为集合
Dropout 网络可以看做多颗网络的集成。每颗网络复杂度小。
iv、可加速训练
Dropout可提高训练速度。
因为降低了参数相关性,学习效率更高。
v、正则化效果
Dropout在数学上可看做是一种正则化。
通过设置dropout 比例,起到调节模型复杂度的作用。
总的来说,Dropout 主要用于:
- 防止模型过拟合
- 强化网络鲁棒性
- 可视为多颗网络集成
- 加速训练过程
- 起到正则化的作用
通过:
- 从网络中 dropout(丢弃)部分单元
- 强制网络学习鲁棒特征
- 将网络看作多颗集成
- 提高学习效率
- 通过设置 dropout 比例调节复杂度
从而实现上述功能。Dropout 是深度学习中常用的正则化技巧之一。