本文主要是介绍[deeplearning-002] 单节点神经网络推导,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
这个例子是最基础的例子,深度学习是它的各种形式的扩展。几个关键点:神经网络结构,激活函数,向量化,随机梯度下降算法,是深度学习的基石。
1.训练集
设训练集合是 {x(i),y(i)}i=1...n ,其中 x∈R1×d 。 x 是个向量,数据集有 n 个样本。
2.神经网络结构
一个神经元,有d+1个输入,前d个是向量
求导的话,就是 f′(x)=f(x)(1−f(x)) ,可以推导出来的。
3.神经网络的输出
对一个样本而言,计算神经元的输出。 x 和b作为输入,传递到神经元的应激函数之前的值是 xW+b ,其中 W∈R
这篇关于[deeplearning-002] 单节点神经网络推导的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!