本文主要是介绍论文笔记：Net2Net，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一篇入门解释的博客：
https://blog.csdn.net/cFarmerReally/article/details/80927981
论文是实现TL的一个network方法，目的是对于动态的数据需求不断扩大网络，而不是重新建立网络。在网络扩张的同时，实现了TL。
基本理解：
Net2Net(Net to Net) 是利用知识迁移来解决大型网络的训练速度慢的问题，例如先训练一个小的网络，然后Net2Net，训练一个更大的网络，训练更大的网络时可以利用在小网络中已经训练好的权重，使得再训练大型的网络速度就变的非常快，利用小网络的权重的这个过程就是知识迁移的过程。
真实场景下的机器学习系统，最终都会变成终身学习系统(Lifelong learning system)，不断的有新数据，通过新的数据改善模型，刚开始数据量小，我们使用小的网络，可以防止过拟合并加快训练速度，但是随着数据量的增大，小网络就不足以完成复杂的问题了，这个时候我们就需要在小网络上进行扩展变成一个大网络了。
两种扩张方式：
- Net2WiderNet: 新的节点copy旧节点，将这两个节点连接下一层的权重平均，实现等价扩张
- Net2DeeperNet：加入新的一层copy上一层
网络容易扩张但不易缩减
这篇关于论文笔记：Net2Net的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
