zoneout专题

ZONEOUT: REGULARIZING RNNS BY RANDOMLY PRESERVING HIDDEN ACTIVATIONS翻译

实验代码github:https://github.com/teganmaharaj/zoneout 摘要 我们提出了zoneout,这是一种用于正则化RNN的新方法。 在每个时刻,zoneout随机地令某些隐藏单元保持其上一时刻的值。像dropout一样,zoneout使用随机噪声来训练伪集合,从而改善泛化。并且,通过保留而不是丢弃隐藏单元,梯度信息和状态信息更容易通过时间传播,如在前馈随机