Dropout是一种广泛使用的正则化技术,它可以通过随机在训练过程中丢弃神经元来减少过拟合。
Dropout的基本思想是:在每次迭代中从网络中随机丢弃一部分神经元(设置为0),剩余的神经元的激活值则按比例缩放(使总激活值保持不变)。这样可以强迫网络学习更加鲁棒的特征,不过度依赖某些特定神经元。
在测试时,不进行丢弃,而是缩放所有神经元的激活值以补偿。
代码示例:
python
import torch
import torch.nn as nn
class Net(nn.Module):
def __init__(self, p=0.5):
super(Net, self).__init__()
self.fc1 = nn.Linear(in_features=28*28, out_features=256)
self.fc2 = nn.Linear(in_features=256, out_features=128)
self.fc3 = nn.Linear(in_features=128, out_features=10)
self.p = p
def forward(self, x):
x = x.view(-1, 28*28)
x = F.relu(self.fc1(x)) # 第一个全连接层
# 在第一个全连接层后添加dropout
x = F.dropout(x, self.p, training=self.training)
x = F.relu(self.fc2(x)) # 第二个全连接层
# 在第二个全连接层后添加dropout
x = F.dropout(x, self.p, training=self.training)
x = self.fc3(x) # 第三个全连接层
return x 可以看到,在训练时(training=True),该网络在两个全连接层的激活值后都添加了Dropout,以一定概率p丢弃一部分神经元。而在测试时(training=False),不进行丢弃,激活值缩放以补偿。
Dropout通过在训练时随机丢弃一部分神经元,可以减轻单个神经元的过拟合,从而达到减小过拟合、提高泛化能力的效果。同时,由于每次迭代训练样本不同的神经元,相当于进行了模型集成,这也有利于提高模型鲁棒性。
但是,Dropout也存在一定缺点,会 slightly 减慢模型的收敛速度,且需要精调超参数p来达到最佳效果。
总而言之,Dropout通过随机丢弃神经元的方式来防止过拟合,达到较好的正则化效果。它可以有效提高模型的泛化能力和鲁棒性,是神经网络训练中常用的一种技术。