捷径连接(shortcutconnection)主要起到以下几个作用:
i、减少梯度弥散
捷径连接可以直接连接上层和下层,避免梯度在每一层的指数级衰减。
有效减少梯度弥散问题。
ii、加速训练
直接连接可以快速地传递梯度,有效加速训练。
提高模型效率。
iii、解决深网退化
通过快速梯度传递,可以解决网络深度增加而性能不上升的问题。
iv、信息流畅
捷径直接输送上层信息,有助于下层模块接收到更多上下文信息。
促进信息流畅。
v、提高非线性表示能力
捷径连接可以让网络更有效地学习复杂的非线性表示。
提高准确率和鲁棒性。
总的来说,shortcut connection 主要用于:
- 减少梯度弥散
- 加速训练
- 解决深网络退化问题
- 促进信息流动
- 提高非线性表示能力
这主要是通过:
- 直接连接上下层
- 快速传递梯度
- 输送上下文信息