Rosenblatt感知器详解

2024-05-27 05:38
文章标签 详解 感知器 rosenblatt

本文主要是介绍Rosenblatt感知器详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文转载自:http://www.cnblogs.com/lanix/p/5003521.html

文中有些地方个人觉得有些错误(或许是自身理解不足),自己进行了修改,以绿色示之,可以对比原文一起阅读。

阅读之前需要注意的是:文中的w与x均视为列向量,,而为一矩阵,两者不可交换前后顺序。

在学习了机器学习十大算法之后,我决定将目光投向神经网络,从而攀登深度学习的高峰。这条险路的第一个拦路虎就是Rosenblatt感知器。为什么这么说呢?不仅是因为它开拓性的贡献——感知器是第一个从算法上完整描述的神经网络,而Rosenblatt感知器是感知器作为监督学习的第一个模型。还因为学习Rosenblatt感知器能够帮助了解神经元的结构、信息流的传递以及知识的学习和存储,从而打开看待问题的全新视角——模拟人脑解决问题。当然,仅仅如此的话,它只能说是可口的羔羊,谈不上拦路的猛虎。自然是在理解这一问题时遇到了难处:

1)Rosenblatt感知器为什么能收敛?《神经网络与机器学习》中的证明并不理想,它忽略了学习率和初始权重向量的影响;

2)学习率和初始权重向量对迭代次数的影响是什么?

3)它的更新过程与梯度下降法如此相似,不禁想问两者之间有何联系?

4)线性可分两类问题通常在寻找一个分割超平面,Rosenblatt感知器也不例外,能否将这个超平面可视化,从而帮助理解?

看!这真的是一个威风凛凛的猛虎,但它吓不倒人。下面开始我们的打虎过程。

 

认识这只虎——Rosenblatt感知器的结构

介绍感知器就不得不谈神经元的结构。神经元由突触、响应器、激活函数组成,顺序响应输入信号,最终获得输出结果。如图1所示,首先,输入信号的每一个分量由突触加权,再与偏置一起由响应器求和,之后通过激活函数获得输出。

响应器对突触加权后的信号和偏置求和,得到响应值:

常用的激活函数有阈值函数,Sigmoid函数和tanh函数。为纪念McCulloch和Pitts(1943)的开拓性工作,激活函数为阈值函数的神经元也被称为McCulloch-Pitts模型,此时:

图1 神经元结构

Rosenblatt感知器建立在McCulloch-Pitts神经元模型上,以解决线性可分的两类问题。两类记为{+1,-1},此时:

在神经元进行学习分类问题时,每一个样本都将作为一个刺激传入神经元。输入信号是每一个样本的特征,期望的输出是该样本的类别。当输出与类别不同时,我们将调整突触权值,直到每个样本的输出与类别相同。

   

老虎要发威——Rosenblatt感知器的更新过程

到目前为止,我们了解了Rosenblatt感知器的工作流程,但还没有解释它如何对于误分类的刺激调整权重值。在此之前,我们先定义输入的数据,方便后续的描述及推导。假设我们的样本采自m维空间Rm,每个样本由特征值和类别组成,记为X,于是:

当我们挑选样本x(k)k个刺激并不等于第k个样本,同一个样本可能反复成为刺激)刺激神经元时,有:

为了让上式更为简洁,我们将x(k)和wk增加一维:

 


此时:

神经元对刺激x^(k)的输出为:

 



到这里,我们完成了对Rosenblattt感知器的推导,其伪代码为:

 

老虎会防御——谜一样的感知器收敛原理

Rosenblatt感知器对于线性可分的两类问题总是有效的,但采用的方式与高斯分类器、逻辑回归、决策树还有SVM截然不同。那么能否保证它对所有线性可分的两类问题都能收敛?下面通过证明w在n足够大时不存在,即n有上限,对收敛性进行说明。

下界



上界




从上述第二个不等式来看,不等号左边为n的二次函数,且系数为正,而不等号右边为n的一次函数。当n足够大时,这个不等式是不成立的,也就是说n是有最大值的,因此w收敛

从第三个不等式来看,不等号左边是一个开口向上的一元二次方程,因此必存在n,使不等式不成立,因此该方法收敛。

后面这一章的内容感觉有些问题:

1)不等式本身可能有些问题,导致后面的推导出错;

2)这一章节试图通过说明初始权重向量和学习率对n的极限值的影响来解释两者对于收敛速度的影响。本人觉得这种说明不够严谨,因为n的极限值是我们通过不等式推算出的最坏的迭代情况,实际中可能(一般)不需要迭代这么多次。通过n的极限值缩小并不能说明实际迭代次数减少。

 

老虎怂了——初始权重向量和学习率的影响

 

老虎搬救兵——感知器背后的随机梯度下降法

如果学习过随机梯度下降法的话,我们就会发现Rosenblatt感知器与随机梯度下降法间的相似度。

如果我们对Rosenblatt感知器构造损失函数

因此,Rosenblatt感知器的迭代过程实际上是随机梯度下降法的一个简化。由于随机梯度下降法依期望收敛,Rosenblatt感知器也是收敛的。

   

老虎被参观——Rosenblatt感知器的可视化过程

因此,Rosenblatt感知器可理解为:1)将特征增加一维,新的一维为1,对应神经元中的偏置;2)增维后的特征与样本类别相乘,得到校正后的特征向量;3)寻找一个权重向量,其与所有校正后的特征向量的夹角小于90度。以一维空间的样本为例,

对特征空间进行升维和标签校正

权重向量的更新过程

当权重向量与特征向量夹角大于90度时,调整权重向量,减少两者夹角。最终使其对所有的特征向量夹角都小于90度,实现对样本的正确分类。

打虎心得——最后的总结

最开始学Rosenblatt感知器时,只是想把收敛原理搞清楚,但搞懂之后,有两点是之前没有预料到的:1)它隐含一个损失函数,而这个损失函数不需要像逻辑回归一样由一个logit函数进行转换;2)之前对线性可分停留在可以找到一个超平面,左边一类,右边一类。但对于超平面与样本之间有何联连并不清楚,现在明白两者对应m+1维空间两个夹角小于90度的超平面。

好了,打虎到此结束,有缘再会。

这篇关于Rosenblatt感知器详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1006634

相关文章

Python ZIP文件操作技巧详解

《PythonZIP文件操作技巧详解》在数据处理和系统开发中,ZIP文件操作是开发者必须掌握的核心技能,Python标准库提供的zipfile模块以简洁的API和跨平台特性,成为处理ZIP文件的首选... 目录一、ZIP文件操作基础三板斧1.1 创建压缩包1.2 解压操作1.3 文件遍历与信息获取二、进阶技

一文详解Java异常处理你都了解哪些知识

《一文详解Java异常处理你都了解哪些知识》:本文主要介绍Java异常处理的相关资料,包括异常的分类、捕获和处理异常的语法、常见的异常类型以及自定义异常的实现,文中通过代码介绍的非常详细,需要的朋... 目录前言一、什么是异常二、异常的分类2.1 受检异常2.2 非受检异常三、异常处理的语法3.1 try-

Java中的@SneakyThrows注解用法详解

《Java中的@SneakyThrows注解用法详解》:本文主要介绍Java中的@SneakyThrows注解用法的相关资料,Lombok的@SneakyThrows注解简化了Java方法中的异常... 目录前言一、@SneakyThrows 简介1.1 什么是 Lombok?二、@SneakyThrows

Java中字符串转时间与时间转字符串的操作详解

《Java中字符串转时间与时间转字符串的操作详解》Java的java.time包提供了强大的日期和时间处理功能,通过DateTimeFormatter可以轻松地在日期时间对象和字符串之间进行转换,下面... 目录一、字符串转时间(一)使用预定义格式(二)自定义格式二、时间转字符串(一)使用预定义格式(二)自

Redis Pipeline(管道) 详解

《RedisPipeline(管道)详解》Pipeline管道是Redis提供的一种批量执行命令的机制,通过将多个命令一次性发送到服务器并统一接收响应,减少网络往返次数(RTT),显著提升执行效率... 目录Redis Pipeline 详解1. Pipeline 的核心概念2. 工作原理与性能提升3. 核

Python正则表达式语法及re模块中的常用函数详解

《Python正则表达式语法及re模块中的常用函数详解》这篇文章主要给大家介绍了关于Python正则表达式语法及re模块中常用函数的相关资料,正则表达式是一种强大的字符串处理工具,可以用于匹配、切分、... 目录概念、作用和步骤语法re模块中的常用函数总结 概念、作用和步骤概念: 本身也是一个字符串,其中

Nginx location匹配模式与规则详解

《Nginxlocation匹配模式与规则详解》:本文主要介绍Nginxlocation匹配模式与规则,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、环境二、匹配模式1. 精准模式2. 前缀模式(不继续匹配正则)3. 前缀模式(继续匹配正则)4. 正则模式(大

Android实现在线预览office文档的示例详解

《Android实现在线预览office文档的示例详解》在移动端展示在线Office文档(如Word、Excel、PPT)是一项常见需求,这篇文章为大家重点介绍了两种方案的实现方法,希望对大家有一定的... 目录一、项目概述二、相关技术知识三、实现思路3.1 方案一:WebView + Office Onl

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

Java中的JSONObject详解

《Java中的JSONObject详解》:本文主要介绍Java中的JSONObject详解,需要的朋友可以参考下... Java中的jsONObject详解一、引言在Java开发中,处理JSON数据是一种常见的需求。JSONObject是处理JSON对象的一个非常有用的类,它提供了一系列的API来操作J