人工神经网络关键核心知识点

2024-05-29 10:38

本文主要是介绍人工神经网络关键核心知识点,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

神经网络里面主要就是单层神经网络学习和多层神经网络学习,涉及到知识点主要就是感知器,线性分割,影藏层,权重校正,误差的平方和等知识点。

感知器:是神经网络最简单的形式,单层双输入感知器的结构如下:


感知器的作用是将输入分类,超平面有线性分割函数定义:


下图是感知器的线性分割:两输入感知器和三输入感知器的情形。


感知器如何学习分类任务

感知器通过细微的调节权值来减少感知器的期望输出和实际输出之间的差别可以完成这一任务。

下面我们来介绍下感知器分类任务的训练算法

设Y(p)为实际输出,Yd(p)为期望输出,e(p)为误差,

则:


如果e(p)为+,就需要增加感知器的输出Y(p),如果为负,就减少感知器的的输出Y(p),因此可以建立下面的感知器的学习规则:


算法1:

步骤一:初始化。

设置权重w1,w2,...Wn和阈值o的初值,取值范围为[-0.5,+0.5]。

步骤二:激活。

通过用输入 以及期望输入Yd(p)来激活感知器,在迭代p=1上计算实际输出


其中n为感知器输入的数量,step为阶跃激活函数。

步骤三:权重训练。

修改感知器的权重。



其中为迭代p上的权重校正。

通过delta规则计算权重校正:


步骤四:迭代。

迭代p加1,回到步骤二,重复以上过程直至收敛。(完)


可以训练感知器执行类似AND(a),OR(b),,但是不能通过训练执行异或逻辑操作(c):



四个常用的激活函数------阶跃、符号、线性、s形函数如下图:


单感知器仅仅能分类线性分割模式,要处理非线性的问题就只能通过多层网络来解决。


多层神经网络:多感知器是有一个或者多个隐藏层的前馈网络,如下图有两个隐藏层的多层感知器:



为什么需要隐藏层?

多层神经网络的每一个层都有特定的功能,输入层接受来自外部世界的输入信号,重新将信号发送给隐藏层的所有神经元,

利用一个隐藏层,我们可以表示输入信号的任何连续函数,利用两个隐藏层甚至可以表示不连续的函数。

隐藏层到底隐藏了什么?

隐藏层隐藏期望的输出值,隐藏层的神经元不能通过网络的输入和输出行为来分析,换句话说就是隐藏层的期望输出由层自己决定。

多层网络如何学习?

后向传送方法。

学习算法有两个阶段:

1、将训练输入模式提供给网络的输入端,输入模式在网络中一层一层的传送,直到输出层产生输出模式为止。

2、从网络的输出端后向的传送到输入端,在传送误差是调整权重的值。


后向传送方法和感知器的类似,只是在后向传送方法中神经元使用的是S形的激活函数:



后向传送方法的算法:

步骤一:初始化。

用很小的范围均匀分布的随机数设置网络的权重和阈值


其中Fi是网络中神经与的输入的总数。

步骤二:激活。

通过应用输入和期望的输出来激活后向传送神经网络。

(1)计算隐藏层神经网络的实际输出:


其中n是隐藏层神经元j输入的个数。

(2)计算输出层神经元的实际输出:


其中m为输出层神经元k的输入个数。

步骤三:训练权重。

     修改后向传送网络的权重

(1)计算输出层神经元的误差斜率:


其中:


计算权重的校正:


更新输出层的权重:


(2)计算隐藏层神经元的误差斜率:


计算权重的校正:


更新隐藏层神经元的权重:


步骤四:迭代。

迭代p加1,回到步骤二,重复以上过程直至满足误差的平方和满足要求为止。(完)

这篇关于人工神经网络关键核心知识点的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1013433

相关文章

基本知识点

1、c++的输入加上ios::sync_with_stdio(false);  等价于 c的输入,读取速度会加快(但是在字符串的题里面和容易出现问题) 2、lower_bound()和upper_bound() iterator lower_bound( const key_type &key ): 返回一个迭代器,指向键值>= key的第一个元素。 iterator upper_bou

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

两个月冲刺软考——访问位与修改位的题型(淘汰哪一页);内聚的类型;关于码制的知识点;地址映射的相关内容

1.访问位与修改位的题型(淘汰哪一页) 访问位:为1时表示在内存期间被访问过,为0时表示未被访问;修改位:为1时表示该页面自从被装入内存后被修改过,为0时表示未修改过。 置换页面时,最先置换访问位和修改位为00的,其次是01(没被访问但被修改过)的,之后是10(被访问了但没被修改过),最后是11。 2.内聚的类型 功能内聚:完成一个单一功能,各个部分协同工作,缺一不可。 顺序内聚:

PostgreSQL核心功能特性与使用领域及场景分析

PostgreSQL有什么优点? 开源和免费 PostgreSQL是一个开源的数据库管理系统,可以免费使用和修改。这降低了企业的成本,并为开发者提供了一个活跃的社区和丰富的资源。 高度兼容 PostgreSQL支持多种操作系统(如Linux、Windows、macOS等)和编程语言(如C、C++、Java、Python、Ruby等),并提供了多种接口(如JDBC、ODBC、ADO.NET等

STL经典案例(四)——实验室预约综合管理系统(项目涉及知识点很全面,内容有点多,耐心看完会有收获的!)

项目干货满满,内容有点过多,看起来可能会有点卡。系统提示读完超过俩小时,建议分多篇发布,我觉得分篇就不完整了,失去了这个项目的灵魂 一、需求分析 高校实验室预约管理系统包括三种不同身份:管理员、实验室教师、学生 管理员:给学生和实验室教师创建账号并分发 实验室教师:审核学生的预约申请 学生:申请使用实验室 高校实验室包括:超景深实验室(可容纳10人)、大数据实验室(可容纳20人)、物联网实验

C++语法知识点合集:11.模板

文章目录 一、非类型模板参数1.非类型模板参数的基本形式2.指针作为非类型模板参数3.引用作为非类型模板参数4.非类型模板参数的限制和陷阱:5.几个问题 二、模板的特化1.概念2.函数模板特化3.类模板特化(1)全特化(2)偏特化(3)类模板特化应用示例 三、模板分离编译1.概念2.模板的分离编译 模版总结 一、非类型模板参数 模板参数分类类型形参与非类型形参 非类型模板

深入解析秒杀业务中的核心问题 —— 从并发控制到事务管理

深入解析秒杀业务中的核心问题 —— 从并发控制到事务管理 秒杀系统是应对高并发、高压力下的典型业务场景,涉及到并发控制、库存管理、事务管理等多个关键技术点。本文将深入剖析秒杀商品业务中常见的几个核心问题,包括 AOP 事务管理、同步锁机制、乐观锁、CAS 操作,以及用户限购策略。通过这些技术的结合,确保秒杀系统在高并发场景下的稳定性和一致性。 1. AOP 代理对象与事务管理 在秒杀商品

枚举相关知识点

1.是用户定义的数据类型,为一组相关的常量赋予有意义的名字。 2.enum常量本身带有类型信息,即Weekday.SUN类型是Weekday,编译器会自动检查出类型错误,在编译期间可检查错误。 3.enum定义的枚举类有什么特点。         a.定义的enum类型总是继承自java.lang.Enum,且不能被继承,因为enum被编译器编译为final修饰的类。         b.只能定义

【408数据结构】散列 (哈希)知识点集合复习考点题目

苏泽  “弃工从研”的路上很孤独,于是我记下了些许笔记相伴,希望能够帮助到大家    知识点 1. 散列查找 散列查找是一种高效的查找方法,它通过散列函数将关键字映射到数组的一个位置,从而实现快速查找。这种方法的时间复杂度平均为(