tangents专题

Fast and Easy Infinitely Wide Networks with Neural Tangents

只要网络足够宽,深度学习动态就能大大简化,并且更易于理解。最近的许多研究结果表明,无限宽度的DNN会收敛成一类更为简单的模型,称为高斯过程(Gaussian processes)。于是,复杂的现象可以被归结为简单的线性代数方程,以了解AI到底是怎样工作的。 左图:示意图显示了深度神经网络如何随着简单的输入/输出图变得无限宽而诱发它们。右图:随着神经网络宽度的增加,我们看到在网络的不同随机实例上的