神经网络第三篇:输出层及softmax函数

2024-06-24 11:18

本文主要是介绍神经网络第三篇:输出层及softmax函数,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 在上一篇专题中,我们以三层神经网络的实现为例,介绍了如何利用Python和Numpy编程实现神经网络的计算。其中,中间(隐藏)层和输出层的激活函数分别选择了 sigmoid函数和恒等函数。此刻,我们心中不难发问:为什么要花一个专题来介绍输出层及其激活函数?它和中间层又有什么区别?softmax函数何来何去?下面我们带着这些疑问进入本专题的知识点:

1 输出层概述

2 回归问题及恒等函数

3 分类问题及softmax函数

4 Python编程softmax函数

1 输出层概述

神经网络/深度学习本质上都属于机器学习问题,而我们知道,机器学习一般分为监督学习非监督学习,生活中,我们应用更多的是监督学习(简单来说需要事先通过已知的输入输出数据进行学习,然后对未知的输入数据进行预测),以神经网络为例,学习的结果,即输出层的输出值y。该输出值既可以是一个连续的无范围约束的数值(回归问题),也可以是一个离散的范围被限制(一般在0至1之间)的数值(分类问题)。所以针对不同的问题,我们对输出层的设计,即激活函数的设计应不同。一般情况下,在神经网络中,回归问题选择恒等函数作为激活函数,分类问题选择softmax函数作为激活函数


小提示:

监督学习又分为回归问题分类问题。如果想对机器学习有一个透彻而全面的理解,给大家推荐一本OReilly出版的书籍《Introduction to MachineLearning with Python》,不知道现在是否发布了中文版,但网上已经有了很多读者自己上传的中文笔记,大家也可在我的博客中获取本人上传的阅读笔记。


2 回归问题及恒等函数

回归”一词对于理工科的人来说并不陌生,直观地讲,回归问题是根据输入来预测一个连续的数值的问题。比如根据一个人的日常饮食量来预测这个人的体重,这就是一个回归问题。为让大家更加明白,我们以数学表达式为例:

                                                       

上面这个回归问题,以神经网络模型为例,首先需要向神经网络提供已知的正确的输入(食饭量和食肉量)和输出(体重),通过这些信息,模型学到了变量的权重。然后就可以对输入进行输出预测。

不难理解,我们并不需要对这样的信号加权和进行其他处理,也就是说我们直接输出食饭量和食肉量的加权和即可。因此,在输出层的设计中,输入信号应该原封不动地被输出,即激活函数h()应该选择恒等函数(用σ()表示),如下图:

                                                                       

由于激活函数选择的是恒等函数,因此输出值没有在我们的预定范围内。

3 分类问题及softmax函数

3.1 分类问题

顾名思义,“分类”就是判断一个数据集所描述的类别,比如判断图像中的人是男还是女,这里的数据集是图像数据,类别有男和女两个类别。既然是判断,那么它应该是一个概率性的问题,打个比方,一个画了浓妆艳抹的男扮女装,仅看照片,我们为了防止说话过于绝对,会以这样的方式表达:我觉得这照片有可能是男的;我觉得这照片很有可能是男的。以概率描述:我觉得这张照片是男性的可能性为60%(0.6);我觉得这张照片是男性的可能性是90%(0.9)

因此,我们对分类问题的判断结果,实际上是来自于概率。我们用上图来分析分类问题:图中的输出信号有三个y1、y2、y3,我们可以理解为这是一个三类别分类,对于输入的数据集,神经网络通过计算后得到值y1、y2、y3。这三个值的大小都应该在01之间,且它们的和应该为1。对于一个输入来说,神经网络预测的结果就是y1、y2、y3中最大值所对应的类别。比如y1、y2、y3的值分别为0.2、0.7、0.1,那么神经网络对这个输入的预测结果就是类别“乙”。

                                                                

3.2 softmax函数

通过上面的分析,回归问题我们只需将输出层的输入信号原封不动地输出即可,而分类问题我们需要考虑两个问题:

(1)每个输出信号值在0至1之间。

(2)所有输出信号的和为1。

基于以上要求,分类问题中,输出层的激活函数常用softmax函数:

                                                             

exp(x)表示ex的指数函数,ak是输出层中第k个输入信号,exp(ak)表示ak的指数函数。分母表示输出层共有n个输出信号(神经元),并计算所有输出层中的输入信号的指数和。yk是第k个神经元的输出。

仔细分析,该函数实际上等同于一个求占比的公式,读者可验证,信号加权和经softmax函数处理后完全满足上面两点要求。可以说,softmax函数很普通,只需完成指数运算求和运算除法运算

4 Python编程softmax函数

 我们已经知道了y1、y2、y3都会有一个0至1之间的数值。而最后的分类结果则取决于这三个值中最大值所对应的类别。借助numpy的广播功能就能轻松实现这样的操作。在这之前,我们需要考虑一个数值过大(溢出)的问题:softmax需要计算指数和,比如当ak中的某个值为1000时,其指数将是无穷大,由于计算机处理数值位数有限,因此有可能无法进行指数或求和运算。

为了解决这个潜在问题,我们对softmax函数作一下处理:

                              

公式表明在进行softmax的指数运算时,加上某个常数不会改变运算的结果。为了防止结果值溢出,一般会使用输入信号中的最大值的负数为这个常数,Python编程代码如下:

import numpy as np
def softmax(a):c=np.max(a) #求数组中的最大值exp=np.exp(a-c)  #指数运算sum_exp=np.sum(exp) #指数求和y=exp/sum_exp        #softmax函数值return y
"""测试"""
a=np.array([0.4,5,3])
y=softmax(a)
print(y)  #输出[0.00877593 0.87306727 0.11815681]
print(y.sum())  #输出1

程序是不是很简单?是的,在上一专题讲过的三层神经网络实现的代码中只需将恒等函数equal_function()替换为softmax()函数即可。softmax函数的输出是0到1,且输出值的总和为1,因此把softmax函数的输出概率解释为“概率”。一般而言,神经网络只把输出值最大的神经元所对应的类别作为识别结果。比如测试代码中计算得到y的输出最大值为y[1]=0.87,因此对于这个输入数据而言,预测的分类为“乙类”,也可以说有87%的概率认为预测结果为“乙类”。

总结一下,这个专题介绍了输出层及其激活函数、回归问题、分类问题、恒等函数和softmax函数。在介绍这些知识点的过程中,我们始终以预测结果为背景展开的,因此阅读完这篇文章,读者应该对机器学习或者神经网络的预测的流程有一定了解。

下一专题,我们将以手写数字识别为例,对前面的知识作整体的终结。 欢迎关注“Python生态智联”,学知识,享生活!

这篇关于神经网络第三篇:输出层及softmax函数的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1089997

相关文章

shell编程之函数与数组的使用详解

《shell编程之函数与数组的使用详解》:本文主要介绍shell编程之函数与数组的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录shell函数函数的用法俩个数求和系统资源监控并报警函数函数变量的作用范围函数的参数递归函数shell数组获取数组的长度读取某下的

MySQL高级查询之JOIN、子查询、窗口函数实际案例

《MySQL高级查询之JOIN、子查询、窗口函数实际案例》:本文主要介绍MySQL高级查询之JOIN、子查询、窗口函数实际案例的相关资料,JOIN用于多表关联查询,子查询用于数据筛选和过滤,窗口函... 目录前言1. JOIN(连接查询)1.1 内连接(INNER JOIN)1.2 左连接(LEFT JOI

MySQL中FIND_IN_SET函数与INSTR函数用法解析

《MySQL中FIND_IN_SET函数与INSTR函数用法解析》:本文主要介绍MySQL中FIND_IN_SET函数与INSTR函数用法解析,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友一... 目录一、功能定义与语法1、FIND_IN_SET函数2、INSTR函数二、本质区别对比三、实际场景案例分

C++ Sort函数使用场景分析

《C++Sort函数使用场景分析》sort函数是algorithm库下的一个函数,sort函数是不稳定的,即大小相同的元素在排序后相对顺序可能发生改变,如果某些场景需要保持相同元素间的相对顺序,可使... 目录C++ Sort函数详解一、sort函数调用的两种方式二、sort函数使用场景三、sort函数排序

C语言函数递归实际应用举例详解

《C语言函数递归实际应用举例详解》程序调用自身的编程技巧称为递归,递归做为一种算法在程序设计语言中广泛应用,:本文主要介绍C语言函数递归实际应用举例的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录前言一、递归的概念与思想二、递归的限制条件 三、递归的实际应用举例(一)求 n 的阶乘(二)顺序打印

C/C++错误信息处理的常见方法及函数

《C/C++错误信息处理的常见方法及函数》C/C++是两种广泛使用的编程语言,特别是在系统编程、嵌入式开发以及高性能计算领域,:本文主要介绍C/C++错误信息处理的常见方法及函数,文中通过代码介绍... 目录前言1. errno 和 perror()示例:2. strerror()示例:3. perror(

Kotlin 作用域函数apply、let、run、with、also使用指南

《Kotlin作用域函数apply、let、run、with、also使用指南》在Kotlin开发中,作用域函数(ScopeFunctions)是一组能让代码更简洁、更函数式的高阶函数,本文将... 目录一、引言:为什么需要作用域函数?二、作用域函China编程数详解1. apply:对象配置的 “流式构建器”最

Android Kotlin 高阶函数详解及其在协程中的应用小结

《AndroidKotlin高阶函数详解及其在协程中的应用小结》高阶函数是Kotlin中的一个重要特性,它能够将函数作为一等公民(First-ClassCitizen),使得代码更加简洁、灵活和可... 目录1. 引言2. 什么是高阶函数?3. 高阶函数的基础用法3.1 传递函数作为参数3.2 Lambda

C++中::SHCreateDirectoryEx函数使用方法

《C++中::SHCreateDirectoryEx函数使用方法》::SHCreateDirectoryEx用于创建多级目录,类似于mkdir-p命令,本文主要介绍了C++中::SHCreateDir... 目录1. 函数原型与依赖项2. 基本使用示例示例 1:创建单层目录示例 2:创建多级目录3. 关键注

C++中函数模板与类模板的简单使用及区别介绍

《C++中函数模板与类模板的简单使用及区别介绍》这篇文章介绍了C++中的模板机制,包括函数模板和类模板的概念、语法和实际应用,函数模板通过类型参数实现泛型操作,而类模板允许创建可处理多种数据类型的类,... 目录一、函数模板定义语法真实示例二、类模板三、关键区别四、注意事项 ‌在C++中,模板是实现泛型编程