有关Dropout的小结

1. Dropout可以比较有效的缓解过拟合的发生，在一定程度上达到正则化的效果。

2. Dropout说的简单一点就是：我们在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征，如图1所示。

3. 工作原理

上面公式中Bernoulli函数是为了生成概率r向量，也就是随机生成一个0、1的向量。

4. 普通的dropout 通常适用于 全连接层网络， CNN网络一般不适用Dropout

5.Dropout在CNN中的应用 – DropBlock

DropBlock 模块主要有2个参数，block_size，γ。

block_size：表示dropout的方块的大小（长，宽），当block_size=1，DropBlock 退化为传统的dropout，正常可以取3，5，7

6. Dropout2d

按通道随机丢弃