本文主要是介绍Hinton机器学习与神经网络1，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
文章目录
- Hinton机器学习与神经网络1
- 一、绪论：面向机器学习的神经网络
- 1、为什么我们需要机器学习
- 2、什么是神经元网络
- 3、简单的神经元模型
- 线性阈值神经元
- 二值化阈值神经元
- Relu激活神经元
- Sigmoid神经元
- 随机二进制神经元
- 4、ANN的MNIST学习范例
- 5、机器学习算法的三大类
- ①监督学习
- ②强化学习
- ③无监督学习
Hinton机器学习与神经网络1
一、绪论：面向机器学习的神经网络
1、为什么我们需要机器学习
因为很多任务通过人写程序不能够很好的达到我们的目的，而机器学习能够依靠大量的数据完成，不过也不是百分百的正确，因为数据并不可能包含所有情况，但就效率上说是比人工来完成这个重复性的工作更为高效。而且机器学习能运用的领域也是非常的广泛。
2、什么是神经元网络
神经元网络的灵感来源于真实大脑中的真实神经元。通过对真实神经元中各个部分工作的研究，了解真实神经元高效的工作方法，从而建立起了神经元网络。
3、简单的神经元模型
线性阈值神经元
一个简单的线性阈值神经元远比现实的神经元简单，但是对于我们来说已经足够了。
输出Y的函数是偏置b加上所有线性输入x乘以权值w的总和。我们把它放在x轴，在输入中考虑偏执和加权激活，我们可以得到值为0的直线。
二值化阈值神经元
在二进制阈值神经元中，首先对输入进行加权计算，如果输入的加权达到了阈值，发送一个尖峰信号。
加权的输入高于阈值，输出为1，否则输出为0。
有两个等价的方法来描写二值化阈值神经元：
①总的输入Z是输入乘上权值的激活。如果输入Z高于阈值，输出为1，否则为0。
②总的输入包括偏置项，所有总的输入是线性输入乘上权值加上偏置项。如果总的输入大于等于0，则输出为1，否则为0。
*第一个公式中的阈值等价于第二个公式中的偏置取反。
Relu激活神经元
Relu激活神经元结合了线性神经元和二值化阈值神经元。它首先计算输入的线性加权，但是他的输出是非线性的加权。
如果输入大于0，则输出为Z，如果输入小于0，则输出为0。所以大于0是线性的，但是在等于0处，我们很难确定。
Sigmoid神经元
Sigmoid神经元的输出值是实数，对于总输入有光滑和约束作用，通常我们会采用逻辑回归函数。它的输出也是光滑的。
（Z为输入，P为概率）
随机二进制神经元
这个函数输出的为P转化成1的概率，而不是一个实数值。
4、ANN的MNIST学习范例
手写体识别：
这个网络有两层神经元，一层是输入神经元，他的激活值代表了像素的强度，还有一层是输出神经元，他的激活值对应着输出类别。
一个手写体可以像投票一样，给多个形状投票，而且这些票可以有不同的 强度，得到最多票的形状获胜。
要通过对大量的模型进行提取特征点，注意特征点的排列规律，可以得到相对可靠的权值。
经过几百个模型的计算，可以得出新的权值模板：
此时，权值的特征就相对明显。
5、机器学习算法的三大类
①监督学习
在监督学习的过程中，当给出一个输入向量时，模型会试图给出一个对应的预测值，因此我们可以非常明显地看出监督学习的要点是什么。
监督学习包括两种形式：
Ⅰ、在回归中，目标输出是一个实数或是实数的完整向量，例如，一只股票在六个月内的价格情况，或是明天中午的温度。目标就是尽可能地接近正确的实数。
Ⅱ、在分类中，目标输出是一个类别标签，最简单的例子就是在1和0之间做出选择，或是在正面案例和负面案例之间选择，但是很明显，当我们给手写数字分类时，我们会有许多的选择标签。
监督学习的运行需要最先选取一个模型类别，模型类别指我们准备当作候选的一系列模型，你可以把模型类别当作一个放入输入向量和一些参数，可以得到一个输出y的函数（y=f(x;W)），因此一个模型类别只是映像的一种方法，从输入到输出的过程中应用一些数值参数W，接着我们来调整这些数值参数，使这个函数映射很好地拟合输入数据，拟合的意思是使每一个训练架构中的目标输出与机器学习系统的实际输出之间的差异最小化。如果我们使用输出的实值缩小这种差异的一个显著措施是算出我们的系统y的输出和正确输出t之间的方差乘以二分之一（1/2(y-t)^2)，这样两项之间就没有差异了。
②强化学习
在强化学习的过程中，通过尝试悬着动作或序列动作来使回报达到最大，而回报值只在设定好的动作下才会触发。
在强化学习中，输出是你必须选定足以触发回报的动作，在选择每个行为时的目标是使预期望的回报总和最大化，通常我们会使用折现因子，这样 就不用考虑太远的将来的问题了，我们认为未来的回报不像快速得到的回报一样有价值，强化学习是困难的，因为回报通常被延迟，因此确切的知道序列动作中哪个动作是错误的，是很难得，还因为回报值，尤其是只对应很少的触发场景（动作）的，往往只提供了很少的关于参数应该如何调整的信息，
③无监督学习
在无监督学习中，你需要尝试挖掘一种对于输入数据内部规律的表征方法。
无监督学习的目的：
Ⅰ、无监督学习的一个主要的目的是获得输入的内部表征，这对于随后的有监督学习和增强学习是有帮助的。
Ⅱ、提供输入的压缩的低维表示。
Ⅲ、依据特征学习为输出，提供经济的表示。
律的表征方法。
无监督学习的目的：
Ⅰ、无监督学习的一个主要的目的是获得输入的内部表征，这对于随后的有监督学习和增强学习是有帮助的。
Ⅱ、提供输入的压缩的低维表示。
Ⅲ、依据特征学习为输出，提供经济的表示。
Ⅳ、找到输入里的聚类，可以将聚类视为一个完全稀疏编码，意思是每一个聚类都有一个特征，我们坚持除了以之外所有的特征都是0，那唯一的特征有1的价值。
这篇关于Hinton机器学习与神经网络1的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
