本文主要是介绍设计普遍逼近的深度神经网络:一阶优化方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
论文地址：https://ieeexplore.ieee.org/document/10477580
传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发，采用特定的优化算法进行求解，再将优化迭代格式映射为神经网络架构，例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4]，这种方法受限于目标函数的显式表达式，可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数，再利用算法展开等方法设计网络结构，但他们也需要如权重绑定等与实际情况可能不符的假设。
论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发，将梯度或邻近点算法写成如下的更新格式：
再将梯度项替换为神经网络中的可学习模块 T，即可得到 L 层神经网络的骨架。
链接
这篇关于设计普遍逼近的深度神经网络:一阶优化方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
