自动学习Dropout模式的AutoML方法研究

深度神经网络常面临过拟合的问题，因此通常需要采用Dropout和权重衰减等正则化手段。

近期的研究发现，利用Dropout过程中被剪掉的神经元结构，可以实现比随机替换更优的效果。

然而，在实际应用中，为了适应不同问题，采用结构化的方法往往需要人工设计，并对Dropout模式进行调整，这导致了泛化能力的不足。

那么，是否可以设计一种能够自动学习Dropout模式的方法，以适用于CNN、Transformer等深度神经网络呢？

谷歌的Quoc V. Le团队目前提出了一种名为AutoDropout的新方法。